爬网后开始编制索引。 它是通过添加爬虫爬取的网页的URL来构建索引的过程。 索引是存储所有已爬取的数据的地方，即，它就像一本巨大的书，每个被爬取的页面都有一份副本。 每当用户输入搜索查询时，它是在几秒钟内提供搜索查询结果的索引。 没有索引，搜索引擎就不可能如此快速地呈现搜索结果。

因此，索引由爬虫访问的不同网页的 URL 组成。 网页中包含的信息由搜索引擎提供给用户进行查询。 如果页面未添加到索引中，则用户无法查看该页面。