Web Spidering اور Web Crawlers کی تعریف

مکڑی پروگراموں کی تلاش میں ویب کے ذریعہ پروگراموں (یا خودکار سکرپٹ) ہیں. مکڑی ویب سائٹ کے یو آر ایل کے ذریعہ سفر کرتے ہیں اور ویب صفحات جیسے ای میل پتے سے ڈیٹا ھیںچ سکتے ہیں. مکڑیوں کو بھی انجن تلاش کرنے کے لئے ویب سائٹس پر موجود معلومات کو کھانا کھلانے کے لئے استعمال کیا جاتا ہے.

مکڑیوں جو بھی 'ویب کرالر' کے طور پر بھی کہا جاتا ہے وہ ویب پر تلاش کرتا ہے اور ان کے ارادے میں بھی دوستانہ نہیں ہیں.

معلومات جمع کرنے کے لئے اسپیمرز مکڑی ویب سائٹ

گوگل، یاہو! اور دوسری تلاش کے انجن صرف ویب سائٹس کو چلانے میں دلچسپی رکھنے والے نہیں ہیں - اس طرح سکیمرز اور سپیمرز ہیں.

مکڑیوں اور دیگر خود کار طریقے سے اوزار سپیمرز کے ذریعہ ای میل پتے کو تلاش کرنے کے لئے استعمال کیے جاتے ہیں (انٹرنیٹ پر یہ عملی طور پر اکثر 'کٹائی' کے طور پر کہا جاتا ہے)) اور پھر سپیم کی فہرست بنانے کے لئے ان کا استعمال کریں.

مکڑی آپ کے ویب سائٹ کے بارے میں مزید معلومات تلاش کرنے کے لئے تلاش کے انجن کی طرف سے استعمال ہونے والے ایک آلہ بھی ہیں لیکن آپ کی سائٹ کو کرال کرنے کے طریقے سے بغیر کسی ویب سائٹ کے بغیر کسی ویب سائٹ کے بغیر ہدایات (یا، اجازت) چھوڑ دیا گیا ہے. مکڑیوں کے لنکس مندرجہ ذیل سفر کرتے ہیں، اور وہ ڈیٹا بیس، پروگرام کی فائلوں، اور دوسری معلومات کے لنکس کو تلاش کرنے میں بہت سستی ہیں جنہیں آپ ان تک رسائی حاصل نہیں کرسکتے ہیں.

ویب ماسٹر لاگ ان کو دیکھ سکتے ہیں کہ مکڑی اور دوسرے روبوٹ نے اپنی سائٹس کا دورہ کیا ہے. یہ معلومات ویب ماسٹروں کی مدد کرتا ہے جو جانتا ہے کہ ان کی سائٹ کو کس طرح لگ رہا ہے، اور کتنی بار.

یہ معلومات مفید ہے کیونکہ یہ ویب ماسٹروں کو اپنی SEO کو ٹھیک دھن دینے اور روبوٹ.txt فائلوں کو اپ ڈیٹ کرنے کے لئے مستقبل میں اپنی سائٹ کو چلانے سے مخصوص روبوٹ کو ممنوع کرنے کی اجازت دیتا ہے.

غیر جانبدار روبوٹ کروالرز سے آپ کی ویب سائٹ کی حفاظت پر تجاویز

آپ کی ویب سائٹ سے ناپسندیدہ کرالرڈر رکھنے کے لئے ایک آسان طریقہ ہے. یہاں تک کہ اگر آپ اپنی ویب سائٹ کو گراؤنڈ کرنے والے غیر معمولی مکڑیوں کے بارے میں فکر مند نہیں ہیں (اگر آپ کو ای میل ایڈریس کا پتہ لگائے گا تو آپ کو زیادہ سے زیادہ کرالروں سے محفوظ نہیں کریں گے)، آپ کو اب بھی اہم ہدایات کے ساتھ تلاش کے انجن فراہم کرنا ہوگا.

تمام ویب سائٹس پر ایک روبوٹ.txt فائل نامی جڑ ڈائرکٹری میں واقع ایک فائل ہونا چاہئے. یہ فائل آپ کو ویب کرالروں کو ہدایت دیتا ہے جہاں آپ انڈیکس کے صفحات دیکھنا چاہتے ہیں (جب تک کہ کسی خاص صفحے کے میٹا ڈیٹا میں کوئی غیر منسلک نہیں ہونے کی صورت میں) اگر وہ تلاش کے انجن ہیں.

جیسے ہی آپ کرالر چاہتا ہوں کہ آپ چاہتے ہیں کہ آپ انہیں براؤز کرنا چاہتے ہیں، آپ انہیں بھی بتا سکتے ہیں کہ وہ کہاں نہیں جا سکتے ہیں اور اپنی پوری ویب سائٹ سے مخصوص کرالر کو بھی روک سکتے ہیں.

ذہن میں برداشت کرنے کے لئے ضروری ہے کہ روبوٹ.txt فائل کے ساتھ ساتھ ساتھ ساتھ رکھے ہوئے تلاش کے انجن کے لئے زبردست قدر ہوں گے اور آپ کی ویب سائٹ کی کارکردگی کو بہتر بنانے میں کلیدی عنصر بھی ہوسکتی ہے، لیکن کچھ روبوٹ کرالر اب بھی آپ کے ہدایات کو نظر انداز کردیں گے. اس وجہ سے، ہر وقت آپ کے تمام سافٹ ویئر، پلگ ان اور ایپس کو رکھنے کے لئے ضروری ہے.

متعلقہ مضامین اور معلومات

معلوماتی کٹائی کی کھپت کی وجہ سے ناراض (سپیم) کے مقاصد کے لئے استعمال کیا گیا تھا، 2003 میں قانون سازی منظور ہوگئی تھی. 2003 کے CAN-SPAM ایکٹ کے تحت ان صارفین کے تحفظ کے قوانین گر جاتے ہیں.

یہ ضروری ہے کہ آپ CAN-SPAM ایکٹ پر پڑھنے کا وقت لیں اگر آپ کا کاروبار کسی بھی بڑے پیمانے پر میلنگ یا معلومات کی کٹائی میں مصروف ہے.

آپ سپیم قوانین اور سپیمرز سے نمٹنے کے بارے میں مزید معلومات حاصل کرسکتے ہیں، اور مندرجہ ذیل مضامین کو پڑھنے کے ذریعہ آپ کو کاروباری مالک کے طور پر نہیں کیا جا سکتا:

• CAN-SPAM ایکٹ 2003
• غیر منافع بخش تنظیموں کے لئے CAN-SPAM ایکٹ قواعد
• 5 CAN-SPAM قوانین چھوٹے کاروباری مالکان کو سمجھنے کی ضرورت ہے