ایندکس شدن صفحات وب سایت در گوگل یکی از اصلی‌ترین دغدغه‌های وب مستران است که موجب قرار گرفتن مطالب سایت در صفحه نتایج جستجوی کاربران می‌شود. اما در برخی مواقع نیز به جای آنکه نگران ایندکس یا شاخص شدن صفحات خود باشیم باید نسبت به حذف صفحات ایندکس شده در گوگل اقدام کرده و آنها را از دسترس خارج کنیم. اما به نظر شما حذف url از گوگل چه دلایلی دارد و چه کمکی به وب سایت ما خواهد کرد؟ موتور جستجوگر گوگل به کمک ربات‌های خود فایل‌ها و اطلاعات موجود در وب سایت‌ها را شناسایی کرده و سپس آنها را در صفحه نتایج جستجو و در دسترس کاربران قرار می‌دهد.
اما گاهی اوقات برخی مطالب یک سایت نباید توسط گوگل ایندکس شوند؛ زیرا موجب افت شدید رتبه سئو سایت و در نهایت کاهش میزان بازدید از آن خواهند شد. بنابراین همیشه نباید به دنبال ایندکس مطالب و صفحات وب سایت خود در گوگل باشیم و گاهی نیز باید خلاف جهت عمل کرده و برخی صفحات ایندکس شده را از گوگل حذف کنیم. در ادامه این مطلب از وبکده با آموزش حذف صفحات ایندکس شده در گوگل همراه شما هستیم و دلایل حذف لینک های ایندکس شده از گوگل را نیز به طور کامل مورد بررسی قرار می‌دهیم. اگر به فکر بهبود سئو وب سایت خود هستید این مقاله کاربردی را از دست ندهید.
چرا باید برخی صفحات ایندکس شده در گوگل را حذف کنیم؟
بسیاری از وب مسترها بر این باورند که هرچه صفحات بیشتری در وب سایت خود و گوگل ایندکس داشته باشند، ترافیک بیشتری دریافت خواهند کرد. این باور تنها در صورتی صحیح است که وب سایت شما تماما دارای مطالب و محتواهای غنی و باکیفیت باشد. یک وب سایت در بسیاری از مواقع ممکن است علاوه بر مطالب مفید دارای برخی محتواها و فایل‌های ایندکس شده نامرتبط و بی کیفیتی باشد که مطالعه و بازدید از آنها برای کاربران هیچ ارزشی ندارد. این صفحات آسیب شدیدی به سئو وب سایت وارد کرده و موجب افت چمشگیر رتبه آن در صفحه نتایج جستجو نیز خواهند شد. به همین دلیل است که گاهی مواقع باید نسبت به حذف صفحات ایندکس شده در گوگل اقدام کنید و این صفحات اضافی و بی ارزش را از دسترس خارج نمایید.
سوالی که اکنون ممکن است برایتان پیش آمده باشد این است که چه صفحاتی باید از ایندکس گوگل و نتایج جستجو حذف شوند؟ صفحات دارای محتوای تکراری، قدیمی و یا کپی شده، صفحاتی که قبلا از وب سایت حذف شده اما URL آنها همچنان در گوگل باقی مانده است و یا صفحاتی که حاوی اطلاعات خصوصی سایت هستند به عنوان اصلی‌ترین کاندیدای حذف از ایندکس گوگل شناخته می‌شوند. اما چرا باید نسبت به حذف این صفحات در سایت اقدام کنیم و انجام این کار چه ضرورتی دارد؟ تخریب سئو سایت به عنوان مهم‌ترین دلیل حذف صفحه در گوگل است که ارتباط مستقیمی با رتبه وب سایت و میزان بازدید از آن دارد. صفحات ایندکس شده بی کیفیت و بی ارزش آسیب جدی به سئو سایت وارد می‌کنند؛ زیرا این صفحات حاوی مطالب مهم و مفیدی نبوده و بازدید از آنها نیز برای کاربران هیچگونه ارزشی ندارد. ربات‌های گوگل نیز در صورت یافتن صفحات بی ارزش در یک وب سایت به سرعت رتبه آن را کاهش می‌دهند و همین موضوع نیز موجب افت چشمگیر میزان بازدید از آن خواهد شد. بنابراین در صورت دارا بودن صفحات و محتواهای بی کیفیت در وب سایت خود حتما نسبت به حذف آنها از گوگل اقدام نمایید.
نحوه بررسی صفحات ایندکس شده در گوگل
شناسایی و جستجوی صفحات ایندکس شده یک وب سایت در گوگل بسیار ساده و آسان است و برای انجام این کار تنها کافی است عبارت site:www.yoursite address.com را در نوار جستجوی گوگل وارد کنید (نکته: در این عبارت به جای yoursite address آدرس وب سایت خود را وارد نمایید). پس از آن تمامی صفحات وب سایت که توسط ربات‌های گوگل شناسایی و ایندکس شده‌اند برای شما نمایش داده می‌شوند.
پس از مشاهده این صفحات باید آنها را به دقت مورد بررسی قرار دهید و صفحات بی ارزش و بی کیفیتی که توسط گوگل ایندکس شده‌اند را حذف کنید. از طرفی دیگر نیز ممکن است گاهی مواقع صفحات مهم و با ارزش وب سایت شما ایندکس نشده باشند که در این صورت نیز باید نسبت به ایندکس کردن آنها اقدام نمایید. بنابراین با بررسی و تحلیل صفحات ایندکس شده در سایت خود ابتدا صفحات بی ارزش را حذف نمایید و سپس از ایندکس شدن صفحات ارزشمند و معتبر خود نیز اطمینان حاصل کنید.
روش های حذف صفحات ایندکس شده در گوگل
پس از مشاهده تمامی صفحات ایندکس شده وب سایت خود باید نسبت به حذف برخی از صفحات نامعتبر اقدام کرده و آنها را از نتایج گوگل حذف نمایید. برای حذف صفحات ایندکس شده در گوگل روش‌های مختلفی وجود دارد که با استفاده از آنها می‌توانید صفحات و url های دلخواه خود را از نتایج جستجو حذف نمایید. بهترین و کاربردی‌ترین روش‌های حذف صفحات ایندکس شده در گوگل شامل:
حذف صفحه موردنظر
حذف صفحه به عنوان اولین و ساده‌ترین روش حذف صفحات ایندکس شده در گوگل شناخته می‌شود که به هیچ ابزار خاصی احتیاج ندارد. اگر وب سایت شما وردپرسی است تنها کاری که باید انجام دهید این است که به بخش داشبورد وب سایت رفته و وارد بخش Pages (صفحات) شوید. در این بخش، صفحه موردنظر خود را انتخاب کرده و سپس بر روی گزینه Delete در قسمت پایین عنوان صفحه کلیک نمایید. پس از آن به بخش Trash رفته و صفحه را به صورت دائمی از این بخش نیز پاک کنید.
پس از اتمام فرآیند حذف، صفحات پاک شده به صورت ارور 404 برای کاربران نمایش داده می‌شوند و همچنان نیز در موتورهای جستجوگر قرار دارند. اما پس از چندین مرتبه کراول شدن توسط ربات‌ها به طور کامل از صفحه نتایج گوگل حذف خواهند شد. نکته مهمی که در رابطه با حذف کامل صفحه از گوگل باید به آن توجه داشته باشید این است که نمایش چندباره ارور 404 به کاربران موجب افزایش نرخ پرش (Bounce Rate)، کاهش میزان بازدید و در نهایت افت سئو سایت خواهد شد. برای جلوگیری از بروز این مشکل بهتر است در هنگام حذف دائمی یک صفحه از سایت به جای نمایش ارور 404 از ریدایرکت 301 کمک بگیرید و از طریق آن کاربر را به صفحه دیگری از وب سایت هدایت کنید تا از رقم خوردن تجربه کاربری منفی و افت شدید سئو سایت خود جلوگیری نمایید.
نوایندکس کردن صفحات
روش دیگر حذف صفحات ایندکس شده در گوگل استفاده از کد نوایندکس (Noindex) است که مرور موجب حذف صفحه موردنظر شما از نتایج جستجوی گوگل خواهد شد. اما کد دستوری نواینداکس چیست و چه کاربردی دارد؟ ربات‌های جستجوگر گوگل پیش از کراول یک وب سایت ابتدا کدهای مربوط به دستورات آن را بررسی کرده و سپس صفحات را ایندکس خواهند کرد. در حالت کلی تمامی صفحات یک سایت دارای قابلیت ایندکس شدن هستند و ربات‌ها به طور خودکار آنها را ایندکس و در نتایج جستجوی گوگل قرار می‌دهند.
اما با اضافه کردن کد دستوری نوایندکس (به معنای عدم ایندکس) به صفحات موردنظر خود می‌توانید از ایندکس آنها جلوگیری کنید؛ یعنی ربات‌های گوگل در مواجه با این کد دستوری بر روی یک صفحه از بررسی و ایندکس آن اجتناب خواهند کرد. برای انجام این کار تنها کافی است کد دستوری زیر را به بخش head صفحه موردنظر خود اضافه کنید تا از ایندکس آن جلوگیری نمایید و یا اگر صفحه موردنظر قبلا توسط ربات‌ها ایندکس شده باشد نیز با استفاده از این کد به مرور زمان از ایندکس گوگل خارج خواهد شد.
استفاده از ابزار گوگل سرچ کنسول
روش رایج دیگر حذف صفحات ایندکس شده در گوگل استفاده از ابزار کاربری گوگل سرچ کنسول (Google Search Console) است که به عنوان بهترین روش حذف url از گوگل شناخته می‌شود. برای انجام این کار ابتدا وارد وب سایت رسمی گوگل سرچ کنسول و حساب کاربری خود شوید و اگر حساب کاربری ندارید باید یک اکانت در سرچ کنسول ایجاد کنید. حال از منوی سمت چپ گزینه Removals را انتخاب کرده و سپس بر روی دکمه قرمز رنگ New Request کلیک کنید. در صفحه جدید و در بخش Temporarily hide (حذف موقت) باید URL صفحه‌ای که می‌خواهید از ایندکس گوگل خارج شود را وارد کرده و سپس بر روی گزینه Continue کلیک کنید.
در بخش New Requests علاوه بر گزینه حذف موقتی صفحه (Temporarily hide) دو گزینه دیگر نیز وجود دارند که آنها نیز از ایندکس صفحه موردنظر جلوگیری می‌کنند. این دو گزینه شامل:
- Remove page from cache only: این گزینه اطلاعات موجود در ایندکس صفحه را حذف خواهد کرد و پس از آن گوگل برای نمایش این صفحه در نتایج جستجو، تجدید نظر کرده و مجددا آن را مورد بررسی قرار می‌دهد
- Remove directory: این گزینه نه تنها صفحه موردنظر شما بلکه تمام صفحاتی که url آنها با url آن صفحه شروع می‌شوند را نیز حذف خواهد کرد
البته به این نکته نیز توجه داشته باشید که صفحه موردنظر شما در این سه روش تنها به مدت 90 روز از صفحه نتایج گوگل حذف می‌شود و برای حذف دائمی صفحه از گوگل می‌توانید یکی از چهار اقدام زیر را انجام دهید:
- پاک کردن محتوا از صفحه موردنظر؛ به طوری که 404 Error یا 410 Error برای کاربران نمایش داده شود
- استفاده از رمز عبور جهت محافظت از صفحه
- استفاده از ابزارهای حذف URL جهت عدم ایندکس صفحه توسط گوگل که این روش نسبت به دو روش دیگر از امنیت بالایی برخوردار نیست
- افزودن تگ نوفالو به صفحه موردنظر
بنابراین برای حذف صفحات ایندکس شده در گوگل با استفاده از ابزار Google Search Console باید به نکته حذف 90 روزه صفحات توجه داشته باشید و در صورت تمایل آنها را به صورت دائمی از صفحه نتایج جستجو حذف نمایید.
حذف محتوای منقضی شده
پاک کردن محتوای منقضی شده از وب سایت یکی دیگر از روش‌های حذف صفحات ایندکس شده در گوگل است و زمانی کاربرد دارد که شما صفحه موردنظر را از سایت خود حذف کرده‌اید اما همچنان در نتایج جستجوی گوگل برای کاربران نمایش داده می‌شود. برای انجام این کار تنها کافی است وارد حساب کاربری گوگل سرچ کنسول خود شوید و در بخش ابزار گزینه Remove outdated content را انتخاب کنید تا وارد صفحه پاک کردن محتوای منقضی شوید. حال در این صفحه بر روی گزینهRequest removal کلیک کنید تا درخواست حذف شما برای گوگل ارسال شود.
گوگل پس از دریافت درخواست شما یکی از این دو پاسخ را برایتان ارسال خواهد کرد: 1) اگر درخواست حذف شما به درستی ارسال شود و صفحه موردنظر شرایط لازم جهت حذف شدن از نتایج جستجو را داشته باشد، پیغام This content is gone برای شما فرستاده می‌شود که به معنای حذف صفحه است. 2) اگر درخواست شما به درستی ارسال نشده باشد و صفحه نیز شرایط لازم جهت حذف از ایندکس را نداشته باشد، گوگل دستورالعملی برای شما ارسال می‌کند که با مطالعه آن می‌توانید اقدامات لازم جهت حذف صفحه خود را انجام دهید.
جمع بندی
ما در این مطلب روش‌های حذف صفحات ایندکس شده در گوگل را مورد بررسی قرار دادیم و شما را با صفحاتی که نباید توسط ربات‌های گوگل ایندکس شوند نیز آشنا کردیم. همانطور که خواندید در هر وب سایت صفحاتی همچون صفحه اطلاعات شخصی وجود دارد که نباید در صفحه نتایج گوگل قرار گیرند و یا محتواهای آن قدیمی و تکراری هستند. ایندکس این صفحات در گوگل و نمایش آنها برای کاربران، آسیب شدیدی به سئو سایت وارد کرده و موجب کاهش رتبه آن در صفحه نتایج جستجو خواهند شد. از این رو وبمستران از طریق روش‌هایی همچون حذف صفحه، استفاده از کد دستوری نوایندکس و یا ابزار گوگل سرچ کنسول اقدام به حذف لینک های ایندکس شده از گوگل می‌کنند. استفاده از ابزار گوگل سرچ کنسول به عنوان بهترین روش جهت حذف url از گوگل شناخته می‌شود که به طور مستقیم توسط گوگل انجام شده و صفحه موردنظر شما را به صورت رسمی از حالت ایندکس و نتایج جستجوی کاربران حذف خواهد کرد. بنابراین اگر شما نیز در وب سایت خود دارای صفحاتی با محتواهای قدیمی و یا نامرتبط هستید حتما نسبت به حذف آنها از ایندکس گوگل اقدام نمایید تا به سئو سایت‌تان لطمه وارد نشود.