حفاظت از وبلاگ وردپرسی در برابر مطالب تکراری

همانطور که حتما می دانید وجود مطالب تکراری در صفحات مختلف سایت یا وبلاگ ها تاثیر بسیار بدی در رتبه صفحات و نمایش صفحات سایت یا وبلاگ ما در نتایج موتورهای جستجوگر دارد. بسیاری از افرادی که از سیستم وردپرس برای  راه اندازی سایت یا وبلاگ خود استفاده می کنند نگرانی های قابل قبولی درباره نحوه نمایش مطالب خود در صفحات مختلف وردپرس دارند. در این مطلب از آی تی گشت سعی می کنیم با استفاده از ابزارها و راهکارهای مختلف از ثبت شدن مطالب تکراری سایت یا وبلاگ خود در موتورهای جستجوگر جلوگیری کنیم و با این کار قدم بزرگی درباره بهینه سازی وبلاگ خود برای موتورهای جستجوگر (SEO) سایت خود برداریم.

چند نمونه از تکرار شدن مطالب نوشته شده در وبلاگ وردپرسی

با توجه به قالبی که از آن برای انتشار وبلاگ یا وب سایت خود استفاده می کنید , افزونه ها و ساختار لینک های داخلی سایت خود ممکن است مطالب تکراری در صفحات متفاوتی از سایت شما باشد. همانطور که می دانید حنماً نیازی به تکرار مطالب وجود دارد که وردپرس در صفحات مختلف آن ها را تکرار می کند پس تنها کاری که کافیست ما انجام دهیم این است که به ربات های خزنده موتورهای جستجوگر بگوییم صفحاتی که در آن ها مطالب تکرار می شوند را دنبال نکنند. نمونه ای از این صفحات در زیر مشاهده می کنید.

1. صفحه خوراک مطالب ( Feed ) یکی از صفحاتی است که مطالب ما در آن دوباره نویسی می شود. برای مثال

http://itgasht.wordpress.com/feed/

2. صفحه خوراک نظرات بازدید کنندگان که آخرین نظرات کاربران شما در پایین مطالب خود در آن تکرار می شود و این نظرات فقط باید در پایین مطلب اصلی برای موتورهای جستجوگر قابل مشاهده باشند. برای مثال

http://itgasht.wordpress.com/comments/feed/

http://itgasht.wordpress.com/2010/10/14/comments-blog-seo/feed/

http://itgasht.wordpress.com/2010/11/10/wordpress-duplicate-content/feed/

...

3. اگر در تنظیمات وبلاگ خود گفته اید که نظرات کاربران در مطالب سایت شما مثلاً اگر برای یک مطلب 20 عدد شد نظرات بعدی صفحه بندی شوند ( هر 20 نظر در یک صفحه ) به طور اتوماتیک صفحات نظرات در اکثر قالب ها شامل مطب اصلی پست شما نیز می باشد و این باعث از بین رفتن ارزش مطالب شما در موتورهای جستجوگر می شود اگر تعداد نظرات کاربران شما زیاد باشد ! برای مثال

http://itgasht.wordpress.com/2010/11/10/wordpress-duplicate-content/comment-page-1/

http://itgasht.wordpress.com/2010/11/10/wordpress-duplicate-content/comment-page-2/

...

4. صفحه بندی مطالب نیز باعث تکرار شدن مطالب در صفحات متفاوت می شود. مثلاً وقتی تعیین می کنید که هر 10 مطلب در یک صفحه نمایش داده شود در هر صفحه مطالب نمایش داده می شود اما توجه داشته باشید که این مطالب در صفحات آرشیو برچسب ها ( Tags ) و دسته بندی های کلی شما نیز نمایش داده می شوند. برای مثال

http://itgasht.wordpress.com/page/2/

http://itgasht.wordpress.com/page/3/

...

5. اگر آدرس اینترنتی وبلاگ یا وبسایت شما هم با WWW و بدون WWW قابل دسترس باشد بسیاری از موتورهای جستجوگر قادر به تشخیص یکتا بودن صفحات نیستن و با ایندکس کردن هر دو صفحه در وبلاگ یا وب سایت شما دارای مطالب تکراری در صفحات مختلف خود می شود. برای مثال

http://itgasht.wordpress.com/2010/11/10/wordpress-duplicate-content

http://www.itgasht.wordpress.com/2010/11/10/wordpress-duplicate-content

در تصویر هر رنگ نشانگر یک مطلب یکتا است و هر دایره نشانگر یک URL

استفاده از فایل robots.txt برای جلوگیری از ثبت مطالب تکراری در موتورهای جستجوگر

اولین روش و ساده ترین روشی که برای هدایت ربات موتورهای جستجوگر برای دنبال نکردن صفحاتی که در آن ها مطالب تکراری است پیشنهاد می کنم استفاده از فایل robots.txt در شاخه اصلی وبلاگ خود ( برای مثال http://itgasht.wordpress.com/robots.txt ) که محتوای این فایل به صورت کامل به ربات های خزنده موتورهای جستجوگر می گوید که چه آدرس هایی را دنبال نکنند. برای مثال من یک فایل ربات تکست برای وردپرس نوشتم به صورت زیر که علاوه بر جلوگیری از ایندکس شدن صفحاتی که دارای مطالب تکراری هستند صفحاتی که اصلاً نباید در موتورهای جستجوگر ثبت شوند مثل صفحات و فایل های مدیریتی وبلاگ ( مثل wp-admin ) و صفحات ارسال بازخورد ( TrackBack ) در آن رعایت شده. البته با توجه به ساختار لینک ها و آدرس دهی صفحات خود می توانید آن را بهینه تر کنید و فقط یک نمونه است و در آن باید آدرس نسخه XML نقشه سایت خود و نکات دیگری را اضافه کنید.

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /page/
Disallow: /comments/

استفاده از چکیده مطلب در وبلاگ های وردپرسی

یکی دیگر از روش هایی که فکر می کنم مفید باشه استفاده از چکیده مطلب است. پیشنهاد می کنم وقتی مطلبی را می نویسید ابتدا چکیده ( Excerpt ) از آن را در پایین قسمت افزودن مطلب جدید در قسمت مدیریتی وبلاگ وردپرسی خود بنویسید البته اگر این قسمت را خالی بگزارید 55 کلمه اول از مطلب شما به عنوان چکیده استفاده می شود. این متن به دو منظور استفاده می شود.

1.بجای متن کامل در خوراک مطالب وبلاگ شما نمایش داده می شود که این امر کمک شایانی به ما در نگهداری از یکتا بودن پست خود می کند چون به غیر از جلوگیری تکرار مطلب در وبلاگ ما در دیگر سایت های RSS خوان که آخرین نوشته های خوراک مطالب وبلاگ ها و وب سایت دیگر در آن ها نمایش داده می شود مطالب شما به صورت کامل درج نمی شود و دیگر موتورهای جستجوگر صفحات سایت شما را اگر تازه تاسیس است و رتبه پایینی دارند خط نمی زنند به دلیل وجود مطالب تکراری در وب.
* برای فعال سازی این امکان از قسمت مدیریت وبلاگ وردپرسی خود > تنظیمات > خواندن بروید و در قسمت ” برای هر نوشته در خوراک، نمایش بده ” بجای متن کامل گزینه خلاصه را انتخاب کنید.

2. بجای استفاده متن کامل مطلب در صفحات تگ ها , دسته بندی ها , نویسنده , صفحه بندی اصلی و نمایش جستجو بجای متن اصلی می توانید از آن استفاده کنید که باعث از بین نرفتن ارزش صفحه اصلی مطلب در موتورهای جستجوگر و سبک شدن صفحات شما می شود.
* برای مثال وقتی می خواهیم خلاصه مطلب ( چکیده ) در صفحات آرشیو ماهانه و دسته بندی ها نمایش داده شود بجای استفاده از کد the_content(); به طور معمول در چرخه از کد زیر می توانیم استفاده کنیم

<?php if ( is_category() || is_archive() ) {
the_excerpt();
} else {
the_content();
} ?>

استفاده از rel=”canonical” برای جلوگیری از ایندکس شدن صفحات با مطالب تکراری

اگر به صورت کامل با سیستم وردپرس , HTML , PHP و ساختار قالب وبلاگ وردپرسی خود آشنا هستید می توانید برای اینکه به موتور جستجوگر گوگل بفهمانید که صفحه ی جاری یک صفحه با مطالب از صفحه دیگری است و نیازی به ایندکس شدن آن نیست از rel=”canonical” استفاده کنید برای مثال فرض می کنیم که صفحه http://itgasht.wordpress.com/about/comments/ همان صفحه http://itgasht.wordpress.com/about/ است پس در قسمت <head> صفحه http://itgasht.wordpress.com/about/comments/ کافی است کد زیر را جاگذاری کنید.

<head>
...
<link rel="canonical" href="http://itgasht.wordpress.com/about/"/>
</head>

توجه داشته باشید در صورتی که این کد را به صورت نادرستی در قالب وبلاگ خود جاگذاری کنید و یا اگر از کدهای PHP برای شرط گذاشتن استفاده می کنید کاملاً مواظب باشید چون استفاده نادرست از این کد نه تنها به شما کمک نمی کند برای جلوگیری از دیده نشدن مطالب تکراری توسط موتورهای جستجوگر بلکه می تواند به رتبه صفحات وب شما ضربه شدیدی وارد کند !

از .htaccess کمک بگیرید

همانطور که در قسمت پنجم “چند نمونه از تکرار شدن مطالب نوشته شده در وبلاگ وردپرسی” گفتیم شما باید تمام درخواست هایی که بدون WWW هستند را منتقل کنید به آدرس وبلاگ یا وب سایت خود با WWW و یا بلعکس همچنین درخواست هایی که در آخر آن ها ( / ) درج نشده است مانند http://itgasht.wordpress.com/about را بهتر است به http://itgasht.wordpress.com/about/ تبدیل کنید با یک redirects 301 مطمئاً که برای اینکار می توانید با اضافه کردن کد زیر به فایل .htaccess خود که در شاخه اصلی سایت یا وبلاگ شما قرار دارد.

RewriteEngine On
RewriteCond %{HTTP_HOST} !^www\.yoursite\.com$ [NC]
RewriteRule ^(.*)$ http://www.yoursite.com/$1 [R,L]
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]

فایل Sitemap.xml خود را تنها با آدرس صفحات اصلی پر کنید

پیشنهاد می کنم که تنها مجموعه آدرس های یکی از لیست های آرشیو , برچسب ها , دسته بندی ها و یا نویسنده ها در فایل Sitemap.xml خود داشته باشید. با توجه به رتبه فعلی صفحات و یا تعداد ورودی ها به هر یک از این لیست ها می توانید بهترین را انتخاب کنید.

استفاده از افزونه های آماده برای جلوگیری از مطالب تکراری در وبلاگ وردپرسی

خوشبختانه تقریباً برای هر کاری افزونه های آماده ای برای وردپرس به صورت رایگان در دسترس است. شما می توانید با استفاده از افزونه های زیر خیال خود را راحت کنید که موتورهای جستجوگر مطالب تکراری را در وبلاگ شما ثبت نمی کنند.

افزونه No Duplicate Content
این افزونه از canonical استفاده می کند که آن را در بالا توضیح دادیم. خوبی کار با آن اینست که دیگر نیازی به جاگذاری دستی در صفحات قالب خود نداریم.

افزونه Duplicate Content Cure
این افزونه با اضافه کردن متا تگ robots در صفحاتی که محتوای آن ها تکراری است از ایندکس شدن آن ها در موتورهای جستجوگر جلوگیری می کند ولی ضربه ای به لینک های داخلی و خارجی داخل آن صفحه وارد نمی کند با اضافه کردن کد زیر در قسمت <head> آن صفحه این کار انجام می شود.

<meta name="robots" content="noindex,follow">

و …