一、簡介
1、名稱:又被稱為網(wǎng)頁蜘蛛,網(wǎng)絡(luò)機器人。
2、解釋:是一種按照一定的規(guī)則,自動地抓取萬維網(wǎng)信息的程序或者腳本。
3、背景:隨著網(wǎng)絡(luò)的迅速發(fā)展,萬維網(wǎng)成為大量信息的載體,如何有效地提取并利用這些信息成為一個巨大的挑戰(zhàn)。
二、功能
1、 對抓取目標的描述或定義。
2、對網(wǎng)頁或數(shù)據(jù)的分析與過濾。
3、對網(wǎng)頁或數(shù)據(jù)的搜索策略。
三、分類
1、通用網(wǎng)絡(luò)爬蟲。
2、聚焦網(wǎng)絡(luò)爬蟲。
3、增量式網(wǎng)絡(luò)爬蟲。