ایندکس شدن سایت در گوگل / تاثیر هوش مصنوعی بر سئو سایت
اگر صفحهای ایندکس نشود، حتی با عصای جادویی سئو هم نمی‌توان رتبه برای صفحه وب به دست آورد. بنابراین مهم است که در طی بررسی عملکرد سئو ابتدا مطمئن شوید صفحات وب می‌توانند ایندکس شوند.
ایندکس شدن واقعا اولین گام در هر بررسی عملکرد سئو (SEO audit) می‌باشد. چرا؟
اگر سایت شما ایندکس نشود، اساسا توسط گوگل و بینگ خوانده نشده است و اگر موتورهای جستجو نتوانند سایت را بیایند و بخوانند، هیچ جادو یا بهینه‌سازی موتور جستجویی (SEO) رتبه‌بندی صفحات وب شما را بهبود نخواهد داد. بنابراین برای رتبه‌بندی، سایت ابتدا باید ایندکس شود.
آیا سایت شما ایندکس شده است؟
ابزارهای در دسترس زیادی وجود دارند که به شما کمک می‌کنند تا تعیین کنید که آیا وبسایت ایندکس شده است یا خیر. ایندکس شدن در مرکز خود فرایندی در سطح صفحه است. به عبارت دیگر، موتورهای جستجو، صفحات را می‌خوانند و آنها را به طور جداگانه فهرست می‌کنند. یک روش سریع برای بررسی اینکه که آیا صفحه توسط گوگل ایندکس شده است یا خیر، استفاده از سایت: operator با جستجوی گوگل است. فقط دامنه را مانند آنچه که در تصویر زیر آمده است وارد کنید، در نتیجه به شما همه صفحات دامنه که توسط گوگل ایندکس شده است را نشان خواهد داد. همچنین می‌توانید URL صفحه خاصی را وارد کنید تا ببینید که صفحه به صورت تکی ایندکس شده است یا خیر.
هنگامی که صفحهای ایندکس نمی‌شود؛
اگر سایت یا صفحهای ایندکس نشده است، بیشترین متهم معمول این است که متا تگ robots در صفحه استفاده شده است یا استفاده نابجا از disallow در فایل robots.txt شده است. هر دو متاتگ‌هایی که در سطح صفحه و نیز robots.txt هستند، دستورالعمل‌هایی برای ربات‌های ایندکس موتور جستجو در مورد نحوه برخورد با محتوای صفحه یا وبسایت شما می‌دهند. (Disallow برای جلوگیری از ایندکس شدن ادرس خاصی از سایت از دستور Disallow استفاده میشه)
تفاوت این است که متاتگ‌های robots بر روی صفحهای جداگانه نمایش داده می‌شوند، در حالیکه فایل robots.txt دستورالعمل‌هایی برای سایت به طور کلی ارائه می‌دهد. با این حال در فایل robots.txt، می‌توانید صفحات یا دایرکتوری‌ها را مشخص کنید و اینکه چگونه باید ربات‌ها در زمان ایندکس شدن با این نواحی رفتار کنند. در ادامه بررسی می‌کنیم که چگونه از هر کدام استفاده کنیم.
Robots.txt
اگر مطمئن نیستید که آیا سایت شما از فایل robots.txt استفاده کرده یا خیر، یک روش ساده برای بررسی وجود دارد. دامنه خود را در یک مرورگر و به دنبال آن /robots.txt را وارد کنید. در اینجا مثالی با استفاده از سایت آمازون آورده شده است (https://www.amazon.com/robots.txt).
همچنین کنسول جستجوی گوگل یک ابزار تستر robots.txt مناسب دارد که به شما کمک می‌کند خطاها را در فایل robots خود شناسایی کنید. همچنین می‌توانید صفحهای را در سایت با استفاده از نوار پایین تست کنید که آیا فایل‌های robots شما در فرم رایج آن مسدود کننده ربات گوگل است یا خیر.
تبلیغات درون متنی/
اگر تمایل دارید برای شرکت خود اقدام به طراحی سایت ارزان کنید پیشنهاد می کنم ابتدا مقالات مربوط به تفاوت طراحی سایت شرکتی و طراحی سایت فروشگاهی را مطالعه کنید. من به شما پیشنهاد می کنم خدمات طراحی سایت پیام آوا را برای این کار نگاه کنید. شرکت پیام آوا بهترین و با کیفیت ترین خدمات طراحی سایت را در قالب طراحی سایت ارزان و مقرون به صرفه به شما ارائه می کند.
تبلیغات درون متنی
اگر یک صفحه یا دایرکتوری در سایت disallowed باشد (یا ایندکس نشده باشد)، پس از Disallow در فایل robots ظاهر خواهد شد. همانطور که در مثال بالا نشان داده شده است، فولدر صفحه فرود (/lp/) از ایندکس شدن با استفاده از فایل robots رد (disallowed) شده است؛ به عبارت دیگر این فولدر ایندکس نشده است. اینکار هر صفحهای را که در دایرکتوری وجود دارد از ایندکس شدن آن توسط موتور جستجو جلوگیری می‌کند.
گزینه‌های جالب و پیچیده بسیاری وجود دارند که می‌توانید فایل robots را به کار برید. سایت توسعه دهندگان گوگل دارای خلاصه همه روش‌های عالی است که می‌توانید از فایل robots.txt استفاده کنید. در اینجا چند تایی آورده شده است:
متاتگ Robots
متاتگ robots در هدر (header) یک صفحه قرار می‌گیرد. به طور معمول نیازی به استفاده از هر دوی متا تگ robots و فایل robots.txt وجود ندارد تا از ایندکس شدن صفحه خاصی جلوگیری کنید.
کنسول جستجو در تصویر بالا، لازم نیست متاتگ robots را به همه صفحات فرود در فولدر صفحه فرود (/lp/) اضافه کنید تا گوگل از ایندکس شدن آنها جلوگیری کند، زیرا این فولدر از ایندکس شدن با استفاده از فایل robots.txt جلوگیری شده است. همچنین متاتگ robots دارای عملکردهای دیگری می باشد. برای مثال، می‌توانید به موتورهای جستجو بگویید که لینک‌های موجود در کل صفحه نباید برای اهداف بهینه‌سازی موتور جستجو دنبال شوند. این کار می‌تواند در شرایط خاصی مانند صفحات منتشر کننده مطبوعات اعمال شود.
شاید دو دستورالعملی که اغلب برای سئو با این تگ‌ها استفاده می‌شوند noindex/index و nofollow/follow هستند:
- Index follow: به طور پیش فرض می‌باشد. ربات‌های ایندکس موتور جستجو باید اطلاعات مرتبط با صفحه را ایندکس کنند. ربات‌های ایندکس موتور جستجو باید لینک‌های موجود در این صفحه را دنبال کنند.
- Noindex nofollow: موتورهای ایندکس موتور جستجو نباید اطلاعات موجود در صفحه را ایندکس کنند. ربات‌های ایندکس موتور جستجو نباید لینک‌های موجود در این صفحه را دنبال کنند.
سایت توسعه دهنده گوگل همچنین توضیح کاملی در مورد استفاده از متاتگ‌های robots دارد.
نقشه‌های سایت XML
هنگامی که صفحه جدیدی در سایت دارید، به طور معمول میخواهید موتورهای جستجو صفحه را پیدا کرده و به سرعت ایندکس کند. یکی از راه‌های کمک برای انجام این کار استفاده از نقشه سایت XML و ثبت آن با موتورهای جستجو است. XML مخفف eXtensible markup language یا زبان نشانه‌گذاری قابل توسعه است.
نقشه‌های سایت XML به موتورهای جستجو کمک می‌کنند تا هوشمندانه‌تر با صفحات سایت شما برخورد کنند و بنابراین سرعت پیدا کردن صفحات سایت و شانس نمایش صفحات در موتور جستجو افزایش پیدا خواهد کرد. این مخصوصا در زمانی مفید است که شما محتوای جدیدی دارید که احتمالا لینک‌های ورودی (بک‌لینک) بسیاری که به آن اشاره شده، ندارد و برای ربات‌های موتور جستجو سخت‌تر می‌شود تا لینکی را دنبال کنند و آن محتوا را بیابند. در حال حاضر سیستم‌های مدیریت بسیاری از محتوا قابلیت ساخت نقشه سایت XML یا دسترسی از طریق یک پلاگین مانند پلاگین Yoast SEO برای وردپرس را دارند.
مطمئن شوید که یک نقشه سایت XML دارید و آن از طریق کنسول جستجوی گوگل و ابزار وبمستر بینگ ثبت شده است. این تضمین می‌کند که گوگل و بینگ می‌دانند در کجا نقشه سایت قرار گرفته و می‌تواند به طور مداوم برای ایندکس به آن مراجعه کند. چگونه سریع می‌تواند محتوای جدید با استفاده از این متد ایندکس شود؟ تستی انجام شد و معلوم شد که محتوای جدیدی توسط گوگل تنها در 8 دقیقه ایندکس شده است و این در زمانی بود که تب‌های مرورگر تغییر داده شد، دستور site: operator را اجرا کنید. بنابراین خیلی سریع است!
جاوا اسکریپت
در سال 2011، گوگل اعلام کرد قادر به اجرای جاوا اسکریپت و ایندکس برخی از عناصر دینامیک است، با این حال، گوگل همیشه قادر نیست تا همه جاوا اسکریپت‌ها را اجرا و ایندکس کند. در کنسول جستجوی گوگل، ابزار the Fetch and Render می‌تواند به شما کمک کند که ببینید آیا ربات گوگل قادر است محتوای شما در جاوا اسکریپت را ببیند یا خیر.
در این مثال، وبسایت دانشگاه از ترکیب جاوا اسکریپت و XML ناهمگام (AJAX) استفاده می‌کند که شکلی از جاوا اسکریپت است. این کار برای ایجاد منویی از دوره است که به قسمت‌های خاصی از موضوع تحصیلی لینک می‌شود.
ابزار Fetch and Render به ما نشان می‌دهد که ربات گوگل قادر نیست تا محتوا و لینک‌های مشابه را ببیند؛ این بدان معناست که ربات گوگل نمی‌تواند لینک‌ها در جاوا اسکریپت برای صفحات دوره عقب‌تر در سایت ببیند.
هوش مصنوعی چیست؟
هوش مصنوعی Artificial intelligence تکنولوژی است که قادر است با دریافت اطلاعات کافی تصمیم های هوشمندانه ای بگیرد. پیش بینی شده است که تا سال 2025 مبلغی نزدیک 60 میلیارد دلار توسط برند ها بر روی هوش مصنوعی هزینه خواهد شد.
تعیین مرزهای واقعی گستردگی هوش مصنوعی به دلیل تمام شایعاتی که در این باره وجود دارد بسیار سخت است. می دانیم که هم اکنون ربات ها قادرند برخی اعمال انسان را تقلید کنند. اما چیزی که برای ما در این مقاله اهمیت دارد توسعه هوش مصنوعی در بازاریابی موتورهای جستجو SEM است.
هنگامی که از هوش مصنوعی صحبت می شود اغلب به یاد تکنولوژی هایی مانند ماشین بدون راننده و هواپیمای بدون سر نشین Drone خواهیم افتاد. اما باید به خاطر داشت که هوش مصنوعی قابلیت حضور در زمینه های متعدد دیگری را هم دارا می باشد.
قابلیت یادگیری ماشین که زیر مجموعه ای از هوش مصنوعی است، بر روی الگوریتم ها پیاده سازی می شود و براساس داده هایی که در اختیار دارد بدون نیاز به هیچ نرم افزار خاصی عمل می کنند. به زبان ساده تر قابلیت یادگیری ماشین به معنای الگوریتم هایی است که توان یادگیری از تجربه قبلی خود را دارند.
در ادامه برخی شرکت های بزرگ و نحوه به کارگیری هوش مصنوعی توسط آنها را باهم مرور خواهیم کرد:
گوگل
- الگوریتم رنک برین از تکنولوژی یادگیری ماشینی برای پردازش محتوا و ارائه نتایج جستجوی دقیق تر به کاربر استفاده می کند. این تکنولوژی توان تحلیل تصاویر و ویدئو ها را به خوبی متن دارد.
- گوگل ادوردز و گوگل آنالیتیکس هر دو از قابلیت یادگیری ماشینی برای بهبود نحوه ارائه تبلیغات بهره می برند.
- گوگل در نرم افزار ها و سخت افزارهای خود از تکنولوژی هوش مصنوعی استفاده می کند. گوگل اعلام کرده است که رویکرد AI first را برای نرم افزارهایی مانند Google Assistant و سخت افزارهایی مانند Google home و گوشی های هوشمند Pixel به کار برده است.
- گوگل شرکت DeepMind که در زمینه هوش مصنوعی فعالیت می کرد را به قیمت 500 میلیون دلار خرید تا بتواند استراتژی AI first خود را به پیش ببرد.
آمازون
- ابزار Amazon Echo در واقع یک دستیار هوش مصنوعی است، را برای بهبود تجربه کاربری مخاطبانش به کار گرفته است. آمازون بزرگترین شرکت خرده فروشی آنلاین در تعطیلات سال 2017 بود است.
- آمازون در حال حاظر از قابلیت یادگیری ماشینی برای تشخیص محصولات استفاده می کند. این الگوریتم بر اساس رفتار کاربران عمل می کند. در واقع وظیفه آن پیشنهاد کالایی است که مشتریانی با یک رفتار خرید مشابه قبلاً از سایت خریداری کرده اند.
- این غول فروش اینترنتی از تکنولوژی یادگیری ماشینی برای تحویل کالاها به وسیله Drones ها استفاده می کند.
- آمازون به سایت ها امکان می دهد که از وب سرویس متکی بر هوش مصنوعی آمازون برای فروش بالاتر محصولات خود استفاده کنند.
فیس بوک Facebook
- فیس بوک از تکنولوژی هوش مصنوعی برای تشخیص محتوای تصاویر بهره می برد.
- خبر رسان فیس بوک نیز با کمک هوش مصنوعی برای هر کاربر بصورت شخصی سازی شده عمل می کند که یکی از پیچیده ترین کاربردهای هوش مصنوعی در شبکه های اجتماعی به شمار میرود.
- موتور پیش بینی فیس بوک در هر ثانیه 6 میلیون پیش بینی انجام می دهد.
اپل Apple
- اپل از هوش مصنوعی برای تشخیص اثر انگشت و چهره صاحبان دستگاه های خود بهره می برد. تکنولوژی که با هدف ارتقاء امنیت به کارگیری سخت افزارهای این شرکت تولید گردیده است.
- اپل و IBM با همکاری یک دیگر نسخه جدیدی از برنامه هوش مصنوعی Watson را منتشر کرده اند.
- اپل برای توسعه بانک داده هوش مصنوعی سخت افزارهای خود، 200 میلیون دلار، داده های تخصصی را خریداری کرده است.
هوش مصنوعی امروزه همراه با بسیاری از محصولات و سرویس ها به کاربران خدمات ارائه می دهد. هم اکنون بسیاری از وب?سایت ها از تکنولوژی های هوش مصنوعی برای افزایش تعامل با کاربر استفاده می کنند. ویژگی اینکار در این است که کاربر عمدتاً متوجه پردازش های انجام شده توسط سایت نمی شود و فقط می داند که سایت خدماتی را ارائه می دهد که او خواهان آن است.
تحقیقات انجام شده نشان می دهد که از 77% کاربرانی که از هوش مصنوعی استفاده می کنند تنها 33% از آنها متوجه شده اند که دارند از چنین تکنولوژی بهره می برند.
آنچه که برای بازاریاب ها مسلم است این موضوع می باشد که هوش مصنوعی بدون آنکه سر و صدای زیادی ایجاد کند به بهبود استراتژی های آنها منجر شده است.
تبلیغات میان متنی
سئو سایت برای موتورهای جست و جو و همچنین تبلیغات گوگل ادوردز از جمله مهمترین روش ها برای بیشتر دیده شدن سایت شما به حساب می آید. شرکت پیام آوا خدمات طراحی سایت تهران و سئو را با مناسب ترین قیمت به شما ارائه می دهد. بازاریابی و تبلیغات به رکن اساسی جامعه امروز ما تبدیل شده است.
تبلیغات میان متنی
نرم افزارهای هوش مصنوعی در ارتباط با سئو و محتوا
درک کلمات کلیدی جستجو شده
گوگل می تواند از الگوریتم یادگیری ماشینی برای فهمیدن مقاصد اصلی کاربران از کلمات جستجو شده، استفاده کند. این کار با کمک رفتار جستجوی قبلی کاربر و مکان او صورت می پذیرد. هنگامی که کاربر برای واژه ای مانند پیتزا در گوگل جستجو می کند. این الگوریتم ها می توانند درک عمیق تری از واژه جستجو شده داشته باشند. و درک کنند که جستجو برای پیتزا احتمالاً به منظور یافتن رستوران های محلی یا پیتزا فروشی های اطراف محل اقامت کاربر است. در ضمن یادگیری ماشین می تواند حدس زدن را کنار گذاشته و واژه اصلی را جستجو کند.
شخصی سازی
ویژگی یادگیری ماشینی به موتور های جستجو کمک می کند که نتایج را برای هر کاربری به صورت شخصی سازی شده ارائه دهند. هنگامی که کاربران در موتورهای جستجو عبارتی را جستجو می کنند. این موتورها براساس رفتار کاربر و سایر افرادی که عبارت مشابهی را جستجو کرده اند، به کاربر نتایجی را که احتمالاً دنبال آنها است را نشان می دهند.
جستجوی صوتی
دستیارهای دیجیتال مانند Amazon’s Alexa یا Google Assistant بر اساس هوش مصنوعی و درک هوشمند درخواست مخاطبان پیاده سازی شده اند. هنگامیکه میخواهید محتوا تولید کنید و به سئو سایت خود می اندیشید. باید این تکنولوژی ها را در نظر داشته باشید یکی از راهکارهای بهینه سازی سایت برای جستجوی صوتی استفاده از Structured data است.
جستجوی ملتی مدیا
امروزه موتورهای جستجو قادرند بر اساس تصویر، ویدئو، صوت جستجو انجام دهند و شما باید تصاویر، ویدئو ها و فایل های صوتی موجود در سایت خود را برای این گونه جستجو ها بهینه سازی کنید.
آنالیتیکس
تجزیه و تحلیلی ها حاکی از آن است که به کارگیری هوش مصنوعی رضایت مندی کاربران را افزایش داده است. با هوش مصنوعی می توان خواسته مخاطب را درک کرد و اگر این درک به تولید محتوای مناسب برای کاربر منتهی شود. قطعاً کاربران سایت، تعامل بیشتری با محتوای تولیدی خواهند داشت.
هوش مصنوعی تنها به انجام اتوماتیک یک سری فعالیت های روزانه ختم نمی شود. هوش مصنوعی قادر است این فعالیت ها را به صورتی انجام دهد که تاثیر بالاتری بر سئو سایت داشته باشند. به کارگیری نرم افزارهای هوش مصنوعی در سئو و تولید محتوا باعث تولید نتایج بهتر، سریع تر و دقیق تری خواهد شد.
نرم افزارهایی که بصورت مستقیم بر سئو تاثیر نمی گذارند
نرم افزارهایی که در زمینه هوش مصنوعی در وب?سایت ها و اپلیکیشن های تحت وب به کارگرفته می شوند و از طریق افزایش تعامل کاربر با سایت به بهبود سایت کمک می کنند در واقع به صورت غیر مستقیم بر روی سئو سایت تاثیر می گذارند.
در ادامه برخی نرم افزارهای را که بطور مستقیم بر سئو سایت تاثیر نمی گذارند را معرفی کرده ایم :
- نرم افزارهای هوشمند خرید: مانند نرم افزارهای مناقصه و یا شرط بندی های آنلاین
- نرم افزارهای پیشنهاد دهنده: مثلا پیشنهاد یک نام کاربری برای هر کاربر تازه وارد
- چت بات ها Chatbots: رباتهایی که به بهبود ارتباط با مخاطبان سایت کمک می کنند و بطور غیر مستقیم بر سئو سایت تاثیر مثبت می گذارند.
- آنالیز بازار: نرم افزارهای ارزیابی بازارهای مالی به الگوریتم های پیچیده هوش مصنوعی متکی است.
منابعی برای مطالعه بیشتر طراحی سایت و سئو سایت