一、簡介

1、名稱：又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機器人。

2、解釋：是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本。

3、背景：隨著網(wǎng)絡(luò)的迅速發(fā)展，萬維網(wǎng)成為大量信息的載體，如何有效地提取并利用這些信息成為一個巨大的挑戰(zhàn)。

二、功能

1、 對抓取目標的描述或定義。

2、對網(wǎng)頁或數(shù)據(jù)的分析與過濾。

3、對網(wǎng)頁或數(shù)據(jù)的搜索策略。

三、分類

1、通用網(wǎng)絡(luò)爬蟲。

2、聚焦網(wǎng)絡(luò)爬蟲。

3、增量式網(wǎng)絡(luò)爬蟲。