什么是robots.txt文件? 搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的...
1、关键词重复 对于目标关键词，大量重复设置在页面内容中。因为词频是搜索引擎相似度计算中必然会考虑的因子，关键词重复本质上是通过提高目标关键词的词频来影响搜索引擎内容相似性排名的。 2、无关查询词 为了能够尽可能多地吸引搜索流量，SEOer在页面内容中增加很多和页面主题无关的关键词，这本...
HITS算法和PageRank算法可以说是搜索引擎链接分析的两个最基础且最重要的算法。 下面对两者之间的差异进行逐一说明。 HITS算法是与用户输入的查询请求密切相关的，而PageRank与查询请求无关。所以，HITS算法可以单独作为相似性计算评价标准，而PageRank必须结合内容相似性计算才可以用来对网页相关性进行评价。 ...
HITS算法整体而言是个效果很好的算法，目前不仅在搜索引擎领域应用，而且被自然语言处理及社交分析等很多其他计算机领域借鉴使用，并取得了很好的应用效果。尽管如此，最初版本的HITS算法仍然存在一些问题，而后续很多基于HITS算法的链接分析方法，也是立足于改进HITS算法存在的这些问题而提出来的。 HITS...
PageRank是GOOGLE创始人于1997年构建早起的搜索系统原型是提出的链接分析算法。 PageRank(网页级别)，也就是我们大家常说的PR, 2001年9月被授予美国专利，专利人是Google创始人之一拉里·佩奇 PageRank专利人——拉里·佩奇（Larry Page）。因此，PageRank里的page不是指网页，而是指佩奇，即这个等级方法是以佩奇来命名...
分词技术是中文搜索引擎特有的步骤。搜索引擎存储和处理页面及用户搜索都是以词为基础的。英文等语言单词与单词之间有空格分隔，搜索引擎索引（“预处理”也被称为“索引”，因为索引是预处理最主要的步骤）程序可以直接把句子划分为单词的集合。而中文词与词之间没有任何分隔符，一个句子中的所有字和词都是连在一起的。搜...
所谓暗网，是指目前搜索引擎爬虫按照常规方式很难抓取到的互联网页面。众所周知，搜索引擎爬虫依赖页面中的链接关系发现新的页面，但是很多网站的内容是以数据库方式存储的。典型的例子是一些垂直领域网站，比如携程旅游网的机票数据，很难有显示链接指向数据库内的记录，往往是服务网站提供组合查询界面，只有用户按照...
作为互联网应用中最具技术含量的应用之一，优秀的搜索引擎需要复杂的构架和算法，以此来支撑对海量数据的获取、存储，以及对用户查询的快速而准确地响应。这篇文章主要介绍搜索引擎的整体构架和各个组成模块的功能。 下图是一个通用的搜索引擎构架示意图。搜索引擎由很多技术模块构成，各自负责整体功能的一部分，相...
1、用户真正的需求是什么？（用户需求角度出发） 搜索引擎用户输入的查询请求一般情况下都非常简短，虽然用户查询的平均长度是呈上升趋势，但整体来说搜索词还是比较简短的。 如何从如此段的查询请求里获知隐藏其后的真实用户需求？这点从《搜索引擎发展史》可以看出来搜索引擎一直在琢磨用户的需求。这是搜索引擎...
从搜索引擎所采取的技术来说，可以将搜索引擎技术的发展划分为4个时代，如下图所示： 史前时代：分类目录一代 这个时代也可以称为“导航时代”，Yahoo和hao123是这个时代的代表。通过人工整理，把属于各个级别的高质量网站或者网页分门别类罗列，用户可以根据分级目录来茶轴高质量的网站。这种方式是...