এসইও এর জন্য রোবট টেক্সট যেসব কারণে গুরুত্বপূর্ণ

  • vhadmin 
এসইও এর জন্য রোবট টেক্সট কেন গুরুত্বপূর্ণ

আপনি কি জানেন এসইও এর জন্য রোবট টেক্সট কতটা গুরুত্বপূর্ণ? যদি এই বিষয়ে আপনার পর্যাপ্ত ধারণা না থাকে, তবে এই টিউটোরিয়াল থেকে জেনে নিন রোবট টেক্সট কি ও এটা আসলে কি কারণে সার্চ ইঞ্জিনের জন্য গুরুত্বপূর্ণ।

প্রত্যেক ওয়েবসাইটের সাথেই একটি robots.txt ফাইল থাকে। এটা হচ্ছে একটি বিশেষ প্রটোকল যাকে (Robots Exclusion Protocol) বা (REP) বলা হয়। এর কাজ হচ্ছে, সার্চ ইঞ্জিন রোবটকে নিয়ন্ত্রন করার পাশাপাশি ওয়েব মাস্টারদেরকে তাঁদের ওয়েব পেইজটি কিভাবে ইনডেক্স বা ক্রল করবে তা নিয়ন্ত্রন করার সুবিধা প্রদান করা।

কেন robots.txt গুরুত্বপূর্ণ?

সহজ কথায়, robots.txt সার্চ ইঞ্জিন অপ্টিমাইজেশনের জন্য খুবই গুরুত্বপূর্ণ। কারণ এটা দিয়ে যেকোনো ওয়েব পেইজ খুব সহজেই ইনডেক্সে যুক্ত করা বা বাদ দেয়া যায়। সার্চ ইঞ্জিনের জন্য নো-ফোলো পেইজ তৈরি করা যায়। ওয়েব ক্রলারকে কোন পেইজ ক্রল করা থেকে বিরত রাখা যায়। এবং সার্চ ইঞ্জিনের জন্য তৈরি করা সাইট ম্যাপ এর মাধ্যমে সার্চ ইঞ্জিনে সাবমিট করা যায়।

যদি আপনি আপনার ওয়েবপেইজগুলো সার্চ ইঞ্জিনে ইনডেক্স বা লিপিবিদ্ধ করতে চান, তাহলে আপনাকে প্রথমে নিশ্চিত হতে হবে যে, আপনার ওয়েবপেইজটি সার্চ ইঞ্জিন রোবটের জন্য প্রবেশযোগ্য কিনা। এবং এগুলো যাতে কোনোক্রমে robots.txt ফাইলের মাধ্যমে ব্লক করা না হয়।

কীভাবে রোবট টেক্সট ফাইলটি ব্যবহার করবেন?

robots.txt ফাইল ব্যবহার করা খুবই সহজ। প্রথমে আপনার ওয়েবসাইটের রুট বা মূল ডিরেক্টরিতে দেখুন। আপনি একটি টেক্সট ফাইল খুঁজে পাবেন যার নাম হচ্ছে robots। যদি আপনি এমন কোনও ফাইল খুঁজে না পান, তাহলে নতুন একটি তৈরি করুন। এখন, প্রথমে নিশ্চিত হউন যে, আপনার robot.txt ফাইলটি সবার জন্য উন্মুক্ত আছে কিনা এবং http://www.yourwebsite.com/robots.txt এই লিংকে গিয়ে আপনি তা খুলতে পারছেন কিনা।

রোবট টেক্সট ফাইলের কার্যকারিতা কি?

রোবট টেক্সট ফাইল ব্যবহার করে আপনি সার্চ ইঞ্জিনকে আপনার ওয়েবসাইটে প্রবেশ করতে বাধা দিতে পারেন এবং আপনার ওয়েবসাইটের যেকোন তথ্য সার্চ ইঞ্জিনে প্রদর্শন করা বন্ধ করতে পারেন। এছাড়াও আপনার ওয়েব পাতার কোনও লিঙ্ক সরাসরি ফলো করাও আটকাতে পারেন। এই কাজগুলো রোবট টেক্সটের মাধ্যমে কিভাবে করবেন, তা নীচে দেয়া হলোঃ

যদি আপনি আপনার ডোমেইনটিকে ইনডেক্সে যুক্ত করা থেকে বিরত রাখতে চান তাহলে নিচের robots.txt কোডগুলো ব্যবহার করুনঃ

User-agent: *
Disallow: /

“User-agent: *” দিয়ে এখানে সব ধরণের সার্চ ইঞ্জিন রোবটকে বুঝানো হয়েছে, এবং “Disallow: /” দিয়ে এই ডোমেইনের অধীনে সব ওয়েব পেইজ এবং রিসোর্স সমূহে সার্চ ইঞ্জিন প্রবেশ করাকে নিষিদ্ধ করা হয়েছে।

এখন সব ধরনের রোবটকে যদি আপনার ওয়েব পাতায় প্রবেশ করতে দিতে চান, তাহলে নিন্মোক্ত robot.txt ব্যবহার করুনঃ

User-agent:*
Disallow:

আপনি যদি আপনার ওয়েবসাইটের একটি মাত্র পাতা বা রিসোর্স বাদ দিতে চান, তাহলে robots.txt টি হবেঃ

User-agent: * Disallow: /(নির্দিষ্ট-পাতার-নাম)/

যদি আপনি একটি নির্দিষ্ট সার্চ ইঞ্জিন রোবটকে আপনার ওয়েব পাতা ক্রল করা থেকে বিরত রাখতে চান, তাহলে আপনার robots.txt টি হবেঃ

User-agent: BadBot
Disallow: /

এখানে, BadBot কোনও রোবটের নাম নয়। বরং এখানে আপনি যেই সার্চ ইঞ্জিন রোবটকে বাদ দিতে চান, তা লিখবেন।

এছাড়াও, যদি আপনি শুধুমাত্র একটি রোবটকে আপনার ওয়েব পাতায় প্রবেশাধিকার দিতে চান এবং অন্যান্য রোবটকে ব্লক করতে চান তাহলে এভাবে তা করতে পারেনঃ

User-agent: Google
Disallow:
User-agent: *
Disallow: /

এই পদ্ধতিতে আপনি কেবল গুগল বটকে আপনার ওয়েব পাতায় প্রবেশাধিকার দিতে পারেন এবং পরবর্তী কোডের মাধ্যমে অন্যান্য সার্চ ইঞ্জিন রোবটগুলোকে প্রবেশ করা থেকে বিরত রাখতে পারেন।

যদি আপনি একটি মাত্র ফাইল বা রিসোর্স ছাড়া বাকি সব রিসোর্সকে বাদ দিতে চান, তাহলে প্রথমে নিশ্চিত হউন যাতে আপনার ফাইল বা রিসোর্সটি সার্চ ইঞ্জিনে নিষিদ্ধ হওয়া সমস্ত ফাইল বা রিসোর্স থেকে এক ধাপ উপরে থাকে।

উদাহরণস্বরূপ, যদি আপনি আপনার মূল পেইজ ছাড়া বাকি সব পেইজকে সার্চ ইঞ্জিন থেকে নিষিদ্ধ করতে চান, তাহলে আপনার রোবট টেক্সট টি হবেঃ

User-agent: *
Disallow: /~home/disallowedpage/

অথবা, আপনি চাইলে যেসব পাতা সার্চ ইঞ্জিন থেকে লুকাতে চান, তা এক এক করে লিপিবদ্ধ করে রাখতে পারেন।

User-agent:*
Disallow: /~home/disallowedpage-1/
Disallow: /~home/disallowedpage-2/
Disallow: /~home/disallowedpage-3/

সতর্কতাঃ রোবট টেক্সটে “disallow method” ব্যবহার করুন আর নাই করুন, আপনার ফাইলগুলোতে কিন্তু ইন্টারনেট থেকে ঠিকই প্রবেশ করা যাবে। তাই, যদি আপনি আপনার ফাইলগুলো জন-সাধারণের প্রবেশাধিকার থেকে লুকিয়ে রাখতে চান, তাহলে পাসওয়ার্ড প্রটোকল ব্যবহার করুন বা পাসওয়ার্ড দিয়ে তা সুরক্ষিত করে রাখুন। এটা করা হলে, পাসওয়ার্ড ছাড়া আপনার তথ্যসমূহ কেউ দেখতে পাবে না বা প্রবেশ করতে পারবে না।

robots.txt ছাড়া কি সার্চ ইঞ্জিন রোবটগুলোকে প্রতিরোধ করা সম্ভব?

প্রত্যেকটি ওয়েবসাইটের জন্যই robots.txt অত্যন্ত গুরুত্বপূর্ণ। কিন্তু এটা ছাড়াও আপনি চাইলে সার্চ ইঞ্জিনকে আপনার নির্দিষ্ট পেইজ ইনডেক্স করা থেকে ও আপনার লিংকসমূহকে ফলো করা থেকে বিরত রাখতে পারেন। এজন্য আপনি রোবট মেটা ট্যাগ ব্যবহার করে এই কাজটি খুব সহজেই সম্পন্ন করতে পারেন। রোবট মেটা ট্যাগ আপনার নির্দিষ্ট পেইজের ক্লোজিং </head> ট্যাগের আগে বসাতে হবে। একটি রোবট মেটা ট্যাগ সাধারণত দেখতে এমন হয়ে থাকেঃ

সার্চ ইঞ্জিনে ইন্ডেক্স করা থেকে বিরত রাখতেঃ

<meta name="robot" content="noindex"/>

যেই পেইজের হেডার এরিয়াতে এই মেটা ট্যাগটি থাকবে সেই পেইজটি সার্চ ইঞ্জিনে ইনডেক্স বা লিপিবদ্ধ হবে না।

সার্চ ইঞ্জিনে ইন্ডেক্স করতে বলবে, কিন্তু কোনও লিংক অনুসরণ করা থেকে বিরত রাখতেঃ

<meta name="robot" content="index, nofollow"/>

এই কোড স্নিপেট টি সার্চ ইঞ্জিন বটকে কোনও পাতা ইনডেক্স বা লিপিবদ্ধ করতে বলে কিন্তু ঐ পাতার কোন লিংককে অনুসরণ করতে বাধা প্রদান করে থাকে।

সার্চ ইঞ্জিনে ইন্ডেক্স করা ও লিংক অনুসরণ করা থেকে বিরত রাখতেঃ

<meta name="robot" content="noindex, nofollow"/>

এই কোড স্নিপেট টি সার্চ ইঞ্জিন বটকে কোনও পাতা ইনডেক্স বা লিপিবদ্ধ করতে এবং ঐ পাতার কোন লিংককে অনুসরণ করতে উভয় ক্ষেত্রেই বাধা প্রদান করে থাকে।

সার্চ ইঞ্জিনে ইন্ডেক্স করা থেকে বিরত রাখবে কিন্তু লিংক অনুসরণ করতে দিবেঃ

<meta name="robot" content="noindex, follow"/>

এই কোড স্নিপেটটি সার্চ ইঞ্জিন বটকে কোনও পাতা ইনডেক্স বা লিপিবদ্ধ করতে বাধা দিলেও ওই পাতায় বিদ্যমান লিংকসমূহ অনুসরণ করার অনুমতি দিয়ে থাকে।

সতর্কতাঃ

যদি আপনি এই বিষয়ে অভিজ্ঞ না হয়ে থাকেন, তাহলে এসব ট্যাগ সমূহ PHP অথবা ASP এর মত অটোজেনারেটেড স্ক্রিপ্টসমূহে ব্যবহার করা থেকে বিরত থাকুন। আপনি এইসব মেটা ট্যাগ একক স্ট্যাটিক HTML ফাইলসমূহে ব্যবহার করতে পারেন। ওয়ার্ডপ্রেসের জন্য আপনি চাইলে বা ALL in One SEO বা WordPress Seo by Yoast প্লাগিন ব্যবহার করতে পারেন।

আশা করি নিশ্চয়ই বুঝতে পেরেছেন, এসইও এর জন্য রোবট টেক্সট কতটা গুরুত্বপূর্ণ। অভিজ্ঞ না হলে, এইসব জিনিষ নিয়ে বেশী নাড়াচাড়া না করাই ভালো। আর যদি আপনি আপনার ওয়েবসাইটের এসইও করাতে এক্সপার্ট কারো সাহায্য চান, তাহলে অনায়াসে আমাদের সাথে যোগাযোগ করুন। আমরা আপনার ওয়েবসাইটটি ১০০% সার্চ ইঞ্জিন ফ্রেন্ডলি করতে সাহায্য করবো।

এক নজরে আমাদের সেবাসমূহ হচ্ছেঃ

১। সার্চ ইঞ্জিন অপ্টিমাইজেশন। অফপেইজ, অনপেইজ ও ট্যাকনিকাল এসইও

২। ফার্স্টক্লাস ওয়েব ডিজাইন ও ডেভেলপমেন্ট। আমরা যেকোনো ওয়েবসাইট ডিজাইনকে ডাইনামিক থিমে রুপান্তর করতে সক্ষম।

৩। ওয়েব ও মিডিয়া গ্রাফিক্স ডিজাইন।

৪। সোশ্যাল মিডিয়া মার্কেটিং।

৫। কনটেন্ট মার্কেটিং।

৬। লীড জেনারেশন।

আপনার পছন্দের সেবা পেতে নিচের আমাদের সাথে যোগাযোগ করুন।