Зміст статті
Читайте нашу статтю, щоб дізнатися як працює індексація та що потрібно для потрапляння сторінок вашого сайту в пошукову видачу.
Індексація сайту — це процес під час якого інформація про сторінку та її вміст потрапляє до бази даних пошукової системи (індекс). Отримана інформація обробляється алгоритмами для подальшого ранжування та відображення у пошуковій видачі.
Коли користувач робить пошуковий запит, наприклад в Google, пошук результатів відбувається по заздалегідь зібраній базі даних. Таким чином, щоб сторінки вашого сайту могли відображатися на сторінці видачі, вони повинні бути проіндексовані.
У цій статті ми розповімо як управляти індексацією сайту та покращити індексацію сторінок.
Сканування сайту
Перш ніж пошукова система зможе індексувати сторінки, їх необхідно знайти і просканувати. Виявлення сторінок пошуковим ботом відбувається шляхом переходу за посиланнями вже відомих йому сторінок, а також через додавання сайту в безкоштовний сервіс Google Search Console.
Для того, щоб робот пошукової системи зміг отримати дані про сторінки вашого сайту — вони мають бути відкритими для сканування. Для отримання доступу до сканування потрібно встановити параметри у файлі robots.txt.
Наприклад, коли ви створюєте інтернет магазин на Хорошопі, одразу після реєстрації ви отримуєте доступ до демо версії вашого магазину. У robots.txt сайту прописана директива, що забороняє сканування всіх сторінок демо сайту.
Після підключення свого домену набір директив самостійно зміниться так, що всі основні сторінки сайту будуть відкриті для сканування пошуковим ботом. Вам не потрібно буде нічого робити з файлом та налаштуваннями, тому що все відбувається автоматично та це виключає можливість припуститися помилки. У випадку з іншими платформами та CMS — рекомендуємо до ознайомлення документацію Google як створювати файл robots.txt .
Як відкрити сторінки сайту для індексації
Важлива примітка: дозволено сканувати не дорівнює дозволено індексувати. Для індексації сторінки слід дотримуватися кількох умов. Дозволена для індексації сторінка — це канонічна сторінка, яка віддає відповідь серверу код 200 ОК і не заборонена для індексації правилом мета тега "robots". Код 200 ОК — це HTTP відповідь, яку повертає сервер на запит користувача і означає, що запит виконано успішно, тобто сторінка знайдена та доступна для перегляду.
Мета-тег "robots" дозволяє встановити налаштування на рівні сторінки, які визначають, чи можна індексувати сторінку і як вона може бути відображена в результатах пошуку Google. Мета-тег "robots" розміщується у розділі
на відповідній сторінці та враховується лише пошуковими роботами. Для того, щоб дозволити пошуковому роботу індексувати сторінку, має бути задане налаштування: mеta name="robots" contеnt="index" або meta name="robots" contеnt="all". Останній варіант налаштування вказує пошуковому боту на те, що ми дозволяємо йому переходити за посиланнями на сторінці.Як покращити індексацію
Навіть якщо виконати всі описані раніше дії, це не гарантує, що сторінка буде проіндексована, про що прямо зазначено у довідці Google. Однак існують способи, якими можна значно підвищити шанси сторінок на індексування та прискорити індексацію сайту загалом.
Google Search Console
Додавання сайту до сервісу для вебмайстра Google Search Console дасть доступ до ряду інструментів, які будуть корисні для розуміння того, як з вашим сайтом взаємодіють користувачі та пошукова система. Відразу після додавання сайту до GSC, деякий час дані про сайт не відображатимуться, оскільки відбуватиметься їх збір.
Спочатку рекомендується скористатися інструментом «Файли Sitemap», який знаходиться на панелі «Індексування».
За допомогою цього інструменту необхідно додати в консоль посилання на xml карту сайту. Це допоможе системі відразу отримати перелік найважливіших сторінок вашого сайту. На підставі цього списку буде складено чергу на сканування та індексування.
Другий інструмент, який буде корисним для індексації, називається «Перевірка URL». Він знаходиться у верхній частині інтерфейсу консолі:
Інструмент відображає актуальний стан сторінки.
- Статус індексації.
- Зручність мобільних пристроїв.
- Дані про те, як бот вперше знайшов сторінку і чи канонічна вона.
- Дані про виявлені на сторінці елементи, наприклад, логотипи.
- Як бот бачить сторінку: у вигляді HTML коду, скріншоту та інших даних.
Крім цього, інструмент дозволяє запросити індексацію сторінки. Це також не гарантує, що сторінка проіндексується, але після надсилання запиту вона отримає найвищий пріоритет і буде оброблена насамперед.
Цей інструмент має ліміт на відправку запитів, до 10-15 на добу. Рекомендуємо використовувати ліміти розважливо — відправляти на індексацію сторінки з контентом, який може бути потенційно вкрадений. Наприклад, ви написали велику експертну статтю-огляд для товару вашого інтернет-магазину. Таку сторінку потрібно проіндексувати якнайшвидше, поки хтось із конкурентів, або просто недоброчесних користувачів, не вкрали текст до себе на сайт. Якщо у них на сайті сторінка проіндексується раніше, ніж ваша — ви можете отримати скаргу і Google не допустить вашу сторінку у видачу.
Також у консолі є інструмент «Сторінки» на панелі «Індексування». Це важливий та корисний інструмент, який показує кількість проіндексованих сторінок. Тут же ви дізнаєтеся про сторінки, які були виявлені, але не були проіндексовані. Важливість інструменту саме в тому, що можна дізнатися з якої причини сторінка не була проіндексована.
Докладніше про причини можна дізнатись у довідці консолі у розділі «Чому сторінки не індексуються». Окремо зупинимося на двох причинах та розглянемо як вони описані у довідці.
- Сторінку проскановано, але поки що не проіндексовано. Повідомлення означає, що ми просканували сторінку, але поки не додали її до індексу Google. Надалі вона може бути проіндексована, а може залишитися в поточному стані; заново надсилати запит на сканування цієї URL-адреси не потрібно.
- Виявлено, не проіндексовано. Означає, що ми знайшли сторінку, але поки що не додали її в індекс Google. Зазвичай це пояснюється тим, що Google не вдалося просканувати сайт, оскільки це могло призвести до надмірного завантаження ресурсу, і сканування було перенесено на більш пізній термін. У зв'язку із цим у звіті дата останнього сканування відсутня.
З опису першої причини може бути не зовсім зрозуміло, в чому саме полягає проблема. Виходячи з досвіду вебмайстрів, крім технічно непридатних для індексації сторінок, наприклад, неканонічна версія, — до цього звіту потрапляють малокорисні сторінки на погляд пошукового робота. Наприклад, у сайтів інтернет-магазинів до цього звіту часто потрапляють сторінки карток товарів, тому що такі сторінки містять неунікальний контент. Зображення товарів, описи та ціну продавець отримує від постачальника, як і багато інших магазинів. Google не бачить сенсу індексувати ваші сторінки, якщо ваш контент нічим не відрізняється від сотень інших сайтів.
Інший приклад — картки товарів-модифікації. Наприклад, чохол для телефону невідомого виробника та сім варіантів цього товару у різних кольорах. Такі сторінки теж не мають жодної цінності і, швидше за все, ніколи не будуть проіндексовані. Винятком будуть, наприклад, картки товарів айфону. Його шукають за різними запитами, пов'язаними з модифікаціями пристрою: пам'ять та колір.
Друга причина — наслідок вищеописаної. Алгоритми пошукового робота за набором ознак визначили тип сторінки і навіть не були виділені обчислювальні потужності для сканування. Google практично безпомилково додає до списку «Виявлено, не проіндексовано» сторінки, як ті ж картки товарів, які не становлять цінності для пошукової системи.
Ресурси пошукової системи обмежені і в останні роки, зі збільшенням кількості сайтів та сторінок на одиницю часу, — Google гірше їх індексує сторінки товару. Для того, щоб Google індексував сторінки карток товару, вони повинні мати цінність: унікальні зображення товару, відео, опис, максимально повні характеристики, відгуки і т.д.
Контент
Однією з найважливіших складових успішної індексації та подальшого ранжування сторінки є контент на ній. Алгоритми пошукової системи люблять корисний контент, який задовольняє запит користувача. Крім цього Google цінує оновлюваний контент. Наприклад, стаття з часом може втратити актуальність і якщо її не оновлювати, вона може спочатку втратити позиції, а потім зовсім випасти з індексу. Для уникнення цього контент необхідно іноді актуалізувати.
Також намагайтеся регулярно додавати на свій сайт корисні сторінки. Алгоритми бачитимуть, що сайт не занедбаний і вебмайстер займається його покращенням, наповнюючи новим контентом. Google буде краще індексувати нові та існуючі сторінки такого сайту.
Використовуйте всі можливості онлайн-бізнесу. Створюйте інтернет-магазин на Хорошопі та тестуйте всі функції 7 днів безкоштовно
Залишити заявку
Використовуйте SEO
Для успішного просування сайту в пошуковій системі, в тому числі індексації, потрібна оптимізація ресурсу — SEO . Найкраще залучити спеціаліста, який вивчить сайт, нішу, конкурентів та зможе дати практичні рекомендації щодо покращення ресурсу. Для покращення індексації SEO-фахівець може використати відразу кілька прийомів.
- Пропрацювати семантичне ядро та дати рекомендації щодо створення нових та/або оптимізації існуючих сторінок. Релевантні пошуковим запитам сторінки індексуються набагато краще, ніж ті, які незрозуміло за якими запитами відображати у видачі.
- Оптимізувати meta title, заголовки та контент на сторінках таким чином, щоб пошуковому боту було максимально просто зрозуміти зміст.
- Зробити правильну внутрішню анкорну перелінковку. Сторінки, які отримують більше посилань на себе, вважаються ботом пріоритетнішими за інших і індексуються краще.
- Слідкувати за технічним станом сайту та своєчасно виправляти знайдені помилки, які можуть перешкоджати скануванню та індексуванню сторінок сайту.
- Пропрацювати інші фактори, які безпосередньо чи опосередковано можуть поліпшити індексацію сайту. Наприклад, авторитетність і трастовість сайту, зворотні посилання, унікальність контенту, запобігання канібалізації ключових слів і таке інше.
Висновок
Індексація сайту — це найважливіша частина SEO просування. Непроіндексовані сторінки не можуть бути джерелом органічного трафіку, тому слід дотримуватися всіх рекомендацій, щоб вони потрапляли до індексу пошукових систем.
Запустити свій інтернет-магазин
Безкоштовний тест 7 днів
