Как работают поисковые системы

Простая и понятная статья на официальном блоге Яндекса. Рассказываются основные принципы работы и некоторые детали, например, как работает фильтр на проверку дубликатов контента:

http://company.yandex.ru/articles/article10.html

"Хотя размер базы в интернете на поверхностный взгляд не кажется критическим фактором, это не так. Недаром рост посещаемости таких машин, как Google и Fast хорошо коррелируют именно с ростом их баз. Основная причины: «редкие» запросы, то есть те, по которым находится менее 100 документов, составляют в сумме около 30% от всей массы поисков – весьма значительную часть. Этот факт делает размер базы одним из самых критичных параметров системы."