当页面被爬虫抓取之后，搜索引擎的数据库里对数据进行对比，过滤掉垃圾页面之后，会创建一个当前网站的索引。

当用户输入关键字后，排名程序事实对所有网站进行分析相关性，这数值大的无法预算，想在几秒内的时间内返回当前关键字的排名结果，是不太可能的。因此必须经过索引的预先处理，为排名程序做好准备工作。

搜索引擎对页面的分词取决于词库的规模以及其准确性和分词算法的好坏来计算，并非取决于页面的本身，唯一能做的就是在页面上用某种方式来提示搜索引擎，某几个字应该被当做一个词来处理。比如用<h1>的标签内，可以对分词进行加粗，修改不同的颜色等等。这些加粗及改色过的分词会用于关键字的排名结果内。

搜索引擎还会过滤如“的”、“得”的助词以及“哈”、“啊”之类的感叹词，包括部分的副词及介词，英文常见的如“the, a, an, to, of”等，所以在做关键字的排名的时候，尽量少用到该类语法。

上文说了，搜索引擎会过滤重复内容，假如在网站上搜索出的关键字，有两个以上的结果都是来自不同的站点，但文章内容却相同，这就剥削掉了用户体验。搜索引擎只希望返回同样文章部分站点的文章，所以会再一次对索引里的数据进行识别重复及删除工作。对于该方法是对全部相同页面的特征关键词进行计算，从中选择页面中包含有最有代表性的一部分关键词，当然对百度应该还会对站点进行权重等公式计算，GOOGLE应该会对站点进行PR值等公式计算。