वर्ल्ड वाइड वेब को व्यवस्थित तरीके से ब्राउज करने और उन्हें स्थानीय भंडार में अनुक्रमित करने के लिए लगभग हर खोज इंजन एक प्रोग्राम या स्वचालित स्क्रिप्ट का उपयोग करता है, जिसे ..... कहा जाता है-

वेब क्रालर वर्ल्ड वाइड वेब पर जानकारी खोलने के लिए सर्च इंजन है यह एक डाक्यूमेंट में सभी शब्दो को अनुक्रमित करता है उन्हें एक डेटाबेस में जोड़ता है फिर सभी हाइपरलिंक और इंडेक्स का अनुसरण करके उस करके उस जानकारी को डेटाबेस के माध्यम से यूजर तक पहुचाता है।