Понимание стемминга

У Ксана Портера есть отличная запись в блоге на тему поиска корней в индексах поисковых систем. Статья указывает на потрясающую подборку ресурсов по стеммингу, тому, как он выполняется и для чего используется.

По сути, определение основы — это процесс приведения слов к их самой базовой форме для проведения более математического анализа отношений между словами, темой документа и т. д. Например, вот некоторые слова, которые были сокращены до их основы. по алгоритму Портера:

удивительный	сюрприз
определенно	определенный
ловит рыбу	рыбы

Используя эти версии слов с основой, поисковая система может более легко выполнять вычисления на основе векторов терминов, веса терминов и других технических измерений содержания документа.

Из других новостей: я вернулся из долгой поездки на Восточное побережье, в Торонто, Бостон, Нью-Йорк, Нью-Джерси и даже в Филадельфию. Спасибо всем, кто написал мне по электронной почте за терпение в ожидании ответа.