نیاز جهان اللهم عجل لولیک الفرج
طبق گفته ی گوگل اگر میخواهید سایتتان از نظر سئو بهبود پیدا کند و توسط خزنده این موتور جستجوی قدرتمند خوب مرور شود از فایل robots.txt در شاخه ی اصلی سایتتون استفاده کنید این فایل به خزنده می گوید که به کدام دایرکتوری ها یا فایل ها درسترسی داشته باشد و به کدام ها دسترسی نداشته باشد
بررسی Robots.txt و یک نمونه ی Robots.txt خوب و سئو برای وردپرس
ادامه ی آموزش در ادامه ی مطلب
یک ترفند سئو در فایل header.php قالب
با استفاده از این ترفند موتور جستجو صفحه ی خانگی (index.php)،پست ها (single.php) و صفحات (page.php) را هم ایندکس می کند و هم لینکهای آنها را دنبال میکند. و دیگر صفحات را ایندکس نمیکند ولی لینکهایشان را دنبال میکند اگر میخواهید از این ترفند استفاده کنید کد زیر را بعد از تگ در فایل header.php قالب سایتتان کپی/پیست کنید.
در صورتی که header.php وجود نداشت کد را بعد از تگ در تمام فایل های زیر اضافه کنید
۴۰۴٫php
archive.php
index.php
single.php
page.php
search.php
……
چگونه یک دایرکتوری و تمام فایل های آن را از دسترس خزنده خارج کنیم و یا چگونه یک دایرکتوری و تمام فایل های آن را در دسترس خزنده قرار دهیم
به این نمونه توجه کنید
User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
در این نمونه دایرکتوری های cgi-bin و wp-admin در دسترس خزنده نیستند (disallow هستند) حال برای فعال کردن آنها باید کلمه ی Allow را تایپ کنیم
با استفاده از این نمونه کد به عنوان مثال اگر wp-admin بر روی Disallow ست شده باشد تمام فایل های داخل این دایرکتوری برای خزنده غیر قابل دسترس هستند و اگر بر روی Allow ست شده باشد تمام فایل های دایرکتوری برای خزنده قابل دسترس هستند
چگونه تمام فایل هایی که آخر آنها به یک پسوند خاص ختم میشوند را از دسترس خزنده خارج کنیم؟
به نمونه ی زیر توجه کنید
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
این کد به خزنده ی گوگل میگوید که مجاز نیست به هیچ یک از فایل های با پسوند php,js,inc,css,gz,wmv,cgi,xhtml دسترسی داشته باشد حال اگر مقدار ها را بر روی Allow ست کنیم تمامی این پسوندها قابل دسترس هستند
چگونه آدرس های دارای “؟” را از دسترس خزنده خارج کنیم؟
Disallow: /*?*
این کد به خزنده میگوید که حق دسترسی به url های دارای علامت سوال “؟” را ندارد
بیشتر بدانید …
عدم دسترسی duggmirror
User-agent: duggmirror
Disallow: /
عدم دسترسی WayBack Archiving site
User-agent: ia_archiver
Disallow: /
user agent های گوگل (مهم)
googlebot : خزنده ی اصلی گوگل
User-agent: Googlebot
Disallow:
Allow: /*
Googlebot-Mobile : خزنده گوگل از طریق موبایل
User-agent: Googlebot-Mobile
Disallow:
Allow: /*
Googlebot-Image : خزنده ی تصاویر سایت
User-agent: Googlebot-Image
Disallow:
Allow: /*
Mediapartners-Google : خزنده ی تبلیغات گوگل (پیشنهادن نمیشود – حد اقل در ایران)
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
Adsbot-Google : فقط برای کسانی که از Adwords گوگل استفاده میکنند
User-agent: Adsbot-Google*
Disallow:
Allow: /*
تعریف نقشه ی سایت در فایل robots.txt (مهم و اساسی)
این کد را به اخر فایل robots.txt اضافه کنید
Sitemap: https://www.niazejahan.ir/sitemap.xml
به جای https://www.niazejahan.ir/sitemap.xml آدرس نقشه ی سایتتان را وارد کنید
یک نمونه ی robots.txt خوب برای وردپرس
حالا در اینجا یک نمونه ی robots.txt نسبتا خوب برای وردپرس رو میذارم هر چند با خوندن این مقاله طریقه ی کار با robots.txt رو یاد گرفتید
User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-*
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.cgi$
User-agent: All
Allow: /
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
#User-agent: ia_archiver-web.archive.org
#Disallow: /
Sitemap: https://www.niazejahan.ir/sitemap.xml
https://www.niazejahan.ir/robots.txt
امیدوارم این مقاله مورد پسندتون واقع شده باشه
