การจัดทำสารบัญ(indexing)
เมื่อบอทเดินทางมาถึงหน้าเว็บ มันจะเริ่มกระบวนการในการรวบรวมข้อมูลอันมากมายซึ่งประกอบด้วยคำต่างๆรวมถึงตำแหน่งในแต่ละหน้าด้วย เพื่อจัดเรียงเป็นสารบัญ(index) ข้อมูลที่บอทนำไปจัดเรียงกระบวนการนี้ประกอบด้วยเนื้อหาสำคัญที่เรียกว่า key content tags และส่วนที่แสดงคุณสมบัติ