Проблема з sitemap.xml в Google Search Console

Деякі власники сайтів стикаються з помилкою обробки catalog-sitemap.xml на стороні Google Search Console. Причини цієї помилки є неочевидними і багатьом складно зрозуміти, як реагувати на неї. Ми провели комплексне дослідження проблеми і постаралися розібратися в ній. Читайте, щоб дізнатися про результати нашої роботи.

Останнім часом, клієнти Хорошопу все частіше звертаються до нас з проблемою, яка пов’язана з помилкою обробки catalog-sitemap.xml на стороні Google Search Console. Проблема виникає, як правило, на нових сайтах або тих, які тільки зареєструвалися і підтвердили права на сайт в Google Search Console.

Спеціалісти платформи Хорошоп детально вивчили проблему та діляться з вами висновками щодо її вирішення.

Походження проблеми

Проблему можна побачити при завантаженні індексного файлу sitemap.xml, який містить в собі, окрім інших, файли посилань sitemap каталогів, наприклад catalog-sitemap.xml, catalog-sitemap-01.xml, catalog-sitemap-02.xml тощо. Іншою ж причиною може стати завантаження файлів catalog-sitemap в Search Console напряму, після чого з’являється помилка «Не вдалось отримати».

Дослідження проблеми

Ми провели комплексне дослідження на прикладі 15 робочих проектів на Хорошоп, а також протестували сайти на декількох інших платформах. Для кращої точності, ми перевірили одразу декілька гипотез, які, на нашу думку, можуть створювати проблему.

1. Змінювали формат файлу з XML на RSS та TXT, відповідно вносили зміни у файлі за документацією Google. Результат — статус не змінився.

2. Змінювали кількість елементів в файлах. Результат — частковий успіх, При кардинальних змінах у файлі, наприклад зменшенні кількості посилань, можливо вирішити проблему, але рішення не відтворюється регулярно.

3. Зменшували розмір файлу sitemap, який, за документацією Google, має важити не більше 50 Мб. Отримали частковий успіх, але, як і в попередньому пункті, це не є стабільним рішенням. Деякі великі проекти, де sitemap займає 40 Мб, консоль приймає, а маленькі проекти, де sitemap розміром 10 Мб, — ні. Але якщо маленький sitemap додатково скоротити до 5-7 Мб, то файл приймається успішно. Втім, знову ж таки, не завжди.

4. Видаляли з sitemap розширений синтаксис, тобто адреси зображень товарів. Це не дало жодного позитивного результату

5. Протягом всього тестування ми перевірили логи серверів. Кожен раз, під час додавання catalog-sitemap.xml до Google Search Console, ми бачили, що Googlebot запитує файл «Get» та отримує код відповіді 200. Але ми все одно регулярно спостерігали в консолі помилку «не отримано».

В результаті нашого дослідження, ми не виявили ніякого зв’язку між додаванням чи видаленням розширеного синтаксису в sitemap, його форматом та розміром, і помилкою в Google Search Console.

Наші спостереження

Протягом останніх декількох днів, ми спостерігаємо за ситуацією, коли catalog-sitemap наших клієнтів почав частково прийматися в консолі. Ось один з декількох подібних кейсів. 6 жовтня ми додали до консолі індексний sitemap. Консоль не прийняла чотири з чотирьох файлів.

Після цього ми не вносили жодних змін до логіки формування файлів, але через місяць побачили, що консоль прийняла файли. Це лише підтверджує те, що проблема на стороні Google.

Реакція спільноти Google

В Google Search Console немає підтримки клієнтів, тому ми додатково зробили запис на форумі Google Search Help. Ми запитали: «Під час додавання sitemap у консоль видає помилку Sitemap could not be read. Статус не отримано. Не вдалося обробити файл sitemap. В чому може бути причина?». На наше запитання ми отримали відповідь, що «Про баг знають та його вирішують».

Підсумок

Протестувавши всі можливі варіанти вирішення проблеми, ми не знайшли жодної кореляції між змінами в sitemap та їхнім прийняттям в консолі. Всі вивчені нами факти вказують на те, що проблема на стороні Google та єдине, що можна зробити — це чекати, поки компанія її вирішить.

Нагадуємо, що в документації Google щодо sitemap вказано, що компанія не гарантує завантаження файла системою, чи що дані з нього будуть використані при скануванні сайту. Також в довідці Google зазначено, що якщо на сайті добре реалізована система внутрішніх посилань на усі важливі сторінки, то пошукові роботи зможуть їх знайти й без sitemap.