Візьмемо середній інтернет-магазин із 8 000 товарів у десяти категоріях. Система фільтрації дозволяє покупцям звужувати результати за брендом, кольором, розміром, ціновим діапазоном, матеріалом і рейтингом. На папері — чиста, зручна UX-функція. На практиці кожна комбінація фільтрів генерує унікальний URL. До того моменту, коли Googlebot ретельно вивчить сайт, він виявить кілька сотень тисяч URL, переважна більшість яких містять трохи інший набір тих самих товарів, використовують ідентичний шаблон сторінки і не таргетують жодного конкретного пошукового запиту, який реальний покупець коли-небудь вводив у Google.
Звіт про індексацію в Search Console показує тисячи тонких сторінок. Статистика сканування показує, що Googlebot витрачає більшу частину часу на URL фільтрів. Сторінки категорій, які мали б ранжуватися, застрягли на 12-й позиції — їхні ранжувальні сигнали розмиті по нескінченних варіантах параметрів. І технічна команда, коли її просять виправити це, ставить розумне питання: виправити як саме?
Саме на це питання відповідає цей посібник. Не за допомогою єдиної універсальної рекомендації — її не існує, — а з чітким поясненням того, чому проблема існує на структурному рівні, що реально робить і чого не робить кожен технічний підхід, і з практичним фреймворком прийняття рішення про те, яке лікування правильне для якого типу URL-паттерну на конкретному сайті.
Що таке фасетна навігація і чому вона створює SEO-проблеми?
Фасетна навігація — це система фільтрації, що дозволяє користувачам одночасно звужувати набір товарів або контенту за кількома атрибутами. Бренд, розмір, колір, ціновий діапазон, рейтинг, наявність — кожен вибір або комбінація зазвичай генерує окремий URL, тому що відфільтрований стан має бути доступним через постійне посилання і навігованим через кнопку «назад» у браузері.
SEO-проблеми, які це створює, — структурні, а не випадкові. Вони прямо випливають із того, як системи фільтрації працюють за своєю природою.
Дублюючий і майже дублюючий контент у масштабі. Сторінка категорії «кросівки для бігу», відфільтрована за кольором «синій», і та сама сторінка за кольором «червоний» містять різні товари, але використовують однаковий шаблон сторінки, однаковий опис категорії, однакові елементи навігації та часто однаковий паттерн мета-заголовка і опису. Жодна зі сторінок не несе значущого унікального контентного сигналу відносно базової сторінки категорії. Коли тисячи таких майже дублюючих сторінок потрапляють в індекс, вони розмивають силу канонічної сторінки категорії, яку сайт реально хоче бачити в ранжуванні.
Витрата краулінгу на малоцінні URL-паттерни. Googlebot не розрізняє URL, що несе реальну унікальну цінність, і URL, згенерований комбінацією фільтрів, яку ніхто ніколи не шукав. Якщо URL доступний для сканування, Googlebot сканує його — регулярно, знову і знову.
Роздутий індекс і розмивання сигналу якості. Системи Google оцінюють якість сайту частково на рівні всього домену. Сайт зі сотнями тисяч тонких, майже дублюючих проіндексованих сторінок посилає слабший загальний сигнал якості, ніж сайт із ретельно курованим індексом справді цінних сторінок.
Чотири технічні підходи — що робить і чого не робить кожен із них
Канонічні теги
Канонічний тег на відфільтрованому URL повідомляє системам індексації Google, що базова сторінка категорії є авторитетною версією, а ранжувальні сигнали відфільтрованої сторінки мають бути консолідовані на цей канонічний URL.
Що робить: сигналізує пайплайну індексації Google, який URL ранжувати, а який розглядати як дублікат. При послідовній реалізації на всіх відфільтрованих URL запобігає конкуренції сторінок фільтрів із базовими сторінками категорій за тими самими запитами.
Чого не робить: не зупиняє сканування Googlebot. Канонічний тег — це інструкція для індексації, а не для сканування. На сайті зі сотнями тисяч URL фільтрів використання лише канонічних тегів досі призводить до того, що Googlebot витрачає більшу частину ресурсу сканування на сторінки, які врешті-решт не будуть проіндексовані. Проблема витрати краулінгу зберігається, навіть коли проблема індексації вирішена.
Коли використовувати: канонічні теги — правильний інструмент для URL фільтрів, які мають залишатися доступними та придатними для обміну з користувачами, але не заслуговують самостійного ранжування. Вони працюють найкраще як один шар у багатошаровому підході, а не як самостійне рішення всієї проблеми фасетної навігації.
Теги Noindex
Мета-тег noindex або HTTP-заголовок повідомляє Google не включати сторінку в пошуковий індекс.
Що робить: видаляє сторінки фільтрів із пошукового індексу, усуваючи їх як конкурентів дублюючого контенту для канонічних сторінок категорій і зменшуючи роздутість індексу.
Чого не робить: не зупиняє сканування. Як і канонічні теги, noindex — це інструкція для індексації. Googlebot досі сканує сторінки з noindex — він просто виключає їх з індексу після оцінки.
Коли використовувати: noindex підходить для комбінацій фільтрів, що генерують сторінки, корисні для користувачів, але не несучі пошукового попиту, вартого захоплення. Варіації сортування тих самих товарів, комбінації фільтрів із дуже малою кількістю результатів або висококонкретні багатоатрибутні комбінації, що малоймовірно відповідають реальним пошуковим запитам, — хороші кандидати на noindex.
Заборона в Robots.txt
Правило disallow у robots.txt блокує Googlebot від сканування вказаних URL-паттернів повністю — зазвичай шляхом зіставлення імені або значення параметра URL.
Що робить: запобігає скануванню Googlebot заблокованих URL-паттернів взагалі, безпосередньо усуваючи витрату краулінгу для цих паттернів.
Чого не робить: не консолідує ранжувальні сигнали. URL, який Googlebot не може просканувати, не може бути оцінений на якість або релевантність. Будь-які зовнішні посилання, що вказують на заблокований у robots.txt URL, не передають цінності.
Коли використовувати: блокування в robots.txt — правильний інструмент для URL-паттернів, де аргументи на користь коли-небудь сканувати або індексувати URL дорівнюють нулю: ідентифікатори сесій, внутрішні параметри відстеження, версії сторінок для друку.
Вибіркова індексація — дозвіл конкретних високоцінних комбінацій фільтрів
Цей підхід недооцінює більшість посібників із фасетної навігації, незважаючи на те що саме він перетворює оборонну SEO-проблему на наступальну можливість.
Не всі комбінації фільтрів однаково цінні для SEO. Комбінація «кросівки для бігу, сині, 42 розмір» практично не має пошукового попиту. Але комбінація «кросівки Nike жіночі» або «кросівки для трейлу до 2 000 гривень» може мати реальний, вимірюваний обсяг пошуку і представляти саме той тип комерційного запиту з довгим хвостом, для якого добре оптимізована відфільтрована сторінка могла б ранжуватися.
Фреймворк прийняття рішень для URL фасетної навігації
Крок 1 — Визначте повний діапазон URL-паттернів, що генеруються системою фільтрації. Це вимагає або сканування живого сайту з інструментом, що фіксує URL-параметри, або аналізу серверних лог-файлів.
Крок 2 — Категоризуйте кожен тип URL-паттерну за SEO-потенціалом. Для кожного окремого типу паттерну поставте три питання: Чи представляє ця комбінація фільтрів запит, який реальні користувачі використовують у пошуку? Чи є у неї обсяг пошуку, вартий захоплення? Чи містить отримана сторінка контент, значно відмінний від базової сторінки категорії? Якщо відповідь на всі три питання — ні, паттерн не має SEO-потенціалу.
Крок 3 — Для паттернів без SEO-потенціалу визначте цінність для користувача. Якщо так — noindex. Якщо ні — блокування в robots.txt.
Крок 4 — Для паттернів із SEO-потенціалом оцініть якість контенту. Якщо пороги якості дотримані — вибіркова індексація. Якщо ні — noindex до покращення шаблону сторінки.
Крок 5 — Впроваджуйте у правильному порядку. Спочатку правила robots.txt, потім теги noindex, потім канонічні теги, насамкінець — самопосилальні каноніки та включення в карту сайту для вибірково індексованих URL.
Найпоширеніші помилки реалізації
Використання лише канонічних тегів як єдиного методу контролю. Найпоширеніша помилка в SEO фасетної навігації. Канонічні теги вирішують проблему індексації, але залишають проблему витрати краулінгу повністю невирішеною.
Блокування в robots.txt URL, що накопичили зворотні посилання. Перед застосуванням блокувань перевірте, чи мають уражені URL зовнішні посилання.
Непослідовна реалізація канонічних тегів у різних шаблонах. Стратегія канонічних тегів працює лише при послідовному застосуванні до всіх URL фільтрів, які може генерувати система. Один шаблон сторінки, що генерує URL фільтрів без канонічного тегу, створює пролом.
Залишення URL із noindex або canonical у XML-карті сайту. Після реалізації XML-карта сайту має містити лише URL, призначені для індексації.
Ігнорування URL фільтрів, що рендеряться через JavaScript. На сайтах, де фільтрація реалізована через JavaScript, URL-паттерни можуть не з’являтися при стандартному HTML-скануванні. Правила robots.txt на основі URL-параметрів можуть не спрацьовувати для URL, виявлених через рендеринг.
Ставлення до цього як до разового виправлення. SEO фасетної навігації вимагає постійного моніторингу, оскільки джерело проблеми — система фільтрації — продовжує розвиватися.
Баланс між SEO-вимогами та користувацьким досвідом
Напруга між SEO-чистою обробкою URL і повною функціональністю UX реальна. З точки зору UX URL фільтрів цінні, тому що дозволяють покупцям ділитися конкретними відфільтрованими видами, зберігати відфільтрований набір товарів у закладках і повертатися до нього.
Рішення, яке найефективніше балансує обидва інтереси на практиці: тримайте URL фільтрів доступними, придатними для обміну та повністю функціональними для користувачів; використовуйте канонічні теги для напрямку систем індексації Google; резервуйте блокування robots.txt для URL-паттернів, що не мають цінності для користувача за жодних обставин.
Постійний моніторинг стану фасетної навігації
Два сигнали в Google Search Console забезпечують мінімальну постійну видимість для раннього виявлення проблем, що виникають.
Перший — загальна кількість проіндексованих сторінок у звіті «Сторінки», конкретно сторінок, виявлених через внутрішні посилання. Збільшення місяць до місяця, не пояснюване цілеспрямованими додаваннями нового контенту, — сигнал того, що новий URL-паттерн обійшов існуючі засоби контролю.
Другий — звіт про статистику сканування, що показує, на яких типах URL Googlebot витрачає ресурс сканування. Обидві перевірки можна виконати менш ніж за двадцять хвилин щомісяця.
Висновок і подальші кроки
Фасетна навігація створює SEO-проблеми не тому що системи фільтрації погано побудовані, а тому що вони побудовані для UX без SEO-обмежень, і URL-паттерни, що генеруються ними в масштабі, структурно суперечать тому, що вимагає ефективна, високоякісна індексація. Рішення — багатошаровий підхід: канонічні теги для URL фільтрів, що залишаються доступними для сканування з причин UX, noindex для паттернів із цінністю для користувача, але без пошукового попиту, блокування robots.txt для паттернів без того і іншого, і вибіркова індексація для конкретних комбінацій фільтрів із реальним пошуковим попитом і достатньою якістю контенту.
Почніть зі сканування свого сайту з інструментом, що фіксує URL-параметри, ідентифікуйте повний діапазон URL-паттернів, що генеруються, і перевірте, скільки з цих паттернів зараз проіндексовані в Search Console.
SEO фасетної навігації, реалізоване неправильно, непомітно знищує ефективність сканування та якість індексу на тисячах сторінок. Зв’яжіться з нашою командою для безкоштовного технічного аудиту і дізнайтеся точно, які з ваших URL-паттернів фільтрів потребують уваги — і яке правильне лікування для кожного з них.