Чек-лист технического SEO-аудита сайта

1Индексация: что поисковик знает о сайте

Начните с двух чисел: сколько страниц в поиске у Яндекса и Google и сколько их должно там быть. Список нужных страниц возьмите из CMS или из sitemap. Если в индексе в разы больше, туда попал мусор: страницы поиска по сайту, фильтров, адреса с метками. Если меньше, часть страниц робот не нашёл или исключил.

В Вебмастере откройте «Индексирование → Страницы в поиске». Там же видны исключённые страницы и причина исключения. В Search Console это отчёт «Индексирование → Страницы» со списком причин, по которым адреса не попали в индекс. Отдельную страницу проверяют инструментами «Проверка URL» в Search Console и «Проверить статус URL» в Вебмастере.

2Зеркала и редиректы

У сайта бывает несколько адресов с одинаковым содержимым: с www и без, по http и https, со слешем на конце и без, с index.php. Для поисковика это разные страницы. Рабочим должен остаться один вариант, а остальные отвечают кодом 301 и ведут на него.

Яндекс с 20 марта 2018 года не учитывает директиву Host и выбирает главное зеркало по 301-му редиректу. Если вы меняли домен или переходили на https, после настройки редиректов укажите главное зеркало в Вебмастере: «Индексирование → Переезд сайта». Старые адреса при этом ведите на соответствующие новые страницы, а не все на главную.

Откройте четыре варианта главной страницы и посмотрите код ответа. В Вебмастере для этого есть «Инструменты → Проверка ответа сервера», в терминале хватит одной команды:

curl -sI http://www.site.ru/ | grep -iE "^http|^location"
HTTP/1.1 301 Moved Permanently
Location: https://site.ru/

Ответ должен быть один: 301 и строка Location с главным адресом. Два-три редиректа подряд — это цепочка. Google проходит до 10 переходов, но каждый лишний шаг тратит время и робота, и посетителя, поэтому я свожу все варианты к одному редиректу.

3robots.txt

Файл лежит по адресу site.ru/robots.txt и должен отвечать кодом 200. Размер у обоих поисковиков ограничен 500 КБ: Google не читает то, что идёт дальше, а Яндекс такой файл не применяет и считает сайт открытым для обхода.

Закрывайте служебное: корзину, личный кабинет, поиск по сайту. Файлы стилей и скриптов оставьте открытыми, иначе робот увидит страницу не такой, какой её видит посетитель. Для параметров, которые не меняют содержимое, например utm_source или ref, у Яндекса есть директива Clean-param: робот склеит такие адреса в один. Google её не поддерживает.

Проверка: «Инструменты → Анализ robots.txt» в Вебмастере покажет, открыт ли для робота конкретный адрес. Отчёт о файлах robots.txt в настройках Search Console покажет, какую версию файла видит Google и есть ли в ней ошибки.

4Карта сайта sitemap.xml

Sitemap подсказывает роботу, какие страницы есть на сайте. В неё попадают только рабочие адреса: с кодом 200, без noindex, канонические. Редиректы, 404 и дубли в карте сбивают робота с толку. В одном файле помещается до 50 000 адресов и до 50 МБ без сжатия, лимит одинаковый у Google и Яндекса. Карту большого сайта делят на несколько файлов и собирают в индексный.

Дату изменения lastmod ставьте честно. Google учитывает её, только если она совпадает с настоящими правками на странице. Теги priority и changefreq Google не читает, а Яндекс учитывает priority, когда решает, в каком порядке обходить страницы.

Добавьте карту в Вебмастер («Индексирование → Файлы Sitemap») и в Search Console (раздел «Файлы Sitemap»). Ошибки в самом файле покажет «Анализ файлов Sitemap» в инструментах Вебмастера. Чтобы найти в карте редиректы и 404, загрузите её в краулер: в Screaming Frog для этого есть режим List.

5Коды ответа сервера

На каждый запрос робота сервер отвечает трёхзначным кодом. От него зависит, попадёт ли страница в индекс.

Отдельная беда — «мягкая 404»: страницы нет, а сервер отвечает 200 и показывает «Ничего не найдено». Search Console помечает такие адреса как soft 404, а робот тратит на них время, которое мог бы потратить на нужные страницы.

Откройте несуществующий адрес вроде site.ru/proverka-404/: ответ должен быть 404. Коды всех страниц сразу покажет краулер, в Screaming Frog это вкладка Response Codes. Там же видно, куда ведут внутренние ссылки. Ссылку на 404 или на редирект стоит поправить на рабочий адрес.

6Дубли и canonical

Дубли появляются сами собой: сортировка и фильтры в каталоге, версии для печати, метки в ссылках, один товар в двух разделах. Робот обходит копии вместо нужных страниц, а в выдачу может попасть не та версия.

Основную версию указывают тегом rel=canonical. Для Google это сильная подсказка, но не приказ: он учитывает ещё редиректы, внутренние ссылки и карту сайта. Поэтому все сигналы должны указывать на один адрес. Закрывать дубль в robots.txt или ставить на него noindex вместо canonical Google не советует.

В краулере откройте отчёт по canonical, в Screaming Frog это вкладка Canonicals. «Проверка URL» в Search Console показывает, какую страницу Google сам выбрал канонической. Иногда это не та страница, которую указали вы, и тогда стоит искать, какой сигнал спорит с вашим.

7Скорость и Core Web Vitals

Google оценивает скорость и удобство страницы тремя метриками Core Web Vitals. Их считают по реальным посетителям: берут 75-й процентиль визитов, отдельно для телефонов и для компьютеров. Страница проходит оценку, если все три метрики в зелёной зоне.

Это пороги Google, я ориентируюсь на них и для Яндекса. Данные реальных посетителей показывает PageSpeed Insights, если у страницы достаточно трафика, и отчёт «Основные интернет-показатели» в Search Console. Лабораторный замер Lighthouse в той же PageSpeed Insights или в Chrome помогает найти причину: тяжёлую картинку первого экрана, шрифты, сторонние виджеты, картинки без заданных размеров, из-за которых прыгает вёрстка.

8Мобильная версия

Google индексирует сайты по мобильной версии: в октябре 2023 года он объявил, что переход на mobile-first завершён. Чего нет в версии для телефона, того может не оказаться и в индексе. Яндекс с февраля 2016 года при прочих равных ставит выше в мобильном поиске страницы, адаптированные под телефон.

Тест на оптимизацию для мобильных и отчёт об удобстве для мобильных Google закрыл 1 декабря 2023 года. Вместо них пользуйтесь Lighthouse и режимом телефона в Chrome: откройте инструменты разработчика и включите эмуляцию устройства. В Вебмастере страницу можно проверить инструментом «Проверка мобильных страниц».

9Title, description и H1

Title становится текстом ссылки в выдаче. У каждой страницы он свой и говорит, что на ней есть, например «Монтаж вентиляции в Казани: цены и сроки». Жёсткого ограничения длины у Google нет, но в выдаче он обрезает заголовок по ширине экрана, поэтому главное ставьте в начало. Если title не подходит, Google может собрать заголовок сам: из H1, текста страницы или ссылок на неё.

Description поисковик иногда берёт в сниппет, а иногда собирает описание из текста страницы. Пишите его как короткое объявление про эту страницу. H1 — видимый заголовок. По смыслу он совпадает с title, но повторять его слово в слово не обязательно.

Краулер выгрузит title, description и H1 всех страниц в одну таблицу. В Screaming Frog откройте вкладки Page Titles, Meta Description и H1 с фильтрами Missing и Duplicate: так найдутся пустые и одинаковые.

10Структура и перелинковка

Робот находит страницы по ссылкам. Google надёжно обходит только обычные ссылки: элемент <a> с атрибутом href. Меню на скриптах без href, кнопку «Показать ещё» и переход по клику на карточку он может пропустить.

Важные страницы держите близко к главной. Я стараюсь, чтобы до любой услуги было не больше трёх кликов. Страница без входящих ссылок может числиться в sitemap, но сама по сайту до неё не доберётся ни робот, ни посетитель. Текст ссылки описывает страницу, на которую она ведёт: «монтаж вентиляции» вместо «подробнее».

Краулер покажет глубину каждой страницы (в Screaming Frog колонка Crawl Depth) и число входящих ссылок (Inlinks). Страницы без входящих ссылок ищут так: сравнивают список из sitemap со списком, который краулер нашёл по ссылкам.

11Микроразметка

Разметка schema.org в формате JSON-LD описывает поисковику, что на странице: организация и контакты, хлебные крошки, товар с ценой, статья. Она должна совпадать с тем, что видит посетитель: цена в коде и цена на экране одинаковые.

Расширенный сниппет с ценой, рейтингом или вопросами поисковик показывает по своим правилам, и разметка его не гарантирует. Часть форматов Google уже убрал: в сентябре 2023 года он перестал показывать расширенные результаты для пошаговых инструкций HowTo.

Проверить разметку можно в «Валидаторе микроразметки» Вебмастера, в «Проверке расширенных результатов» Google и в общем валидаторе validator.schema.org.

12Яндекс Метрика и цели

Последняя проверка отвечает на вопрос, который задаст владелец сайта: стало ли больше заявок. Без целей в Метрике этого не узнать.

Счётчик должен стоять на всех страницах ровно один раз, включая страницу «Спасибо» и всплывающие формы. Цель «заявка» считают по успешной отправке формы. Метрика умеет сама создавать цели на отправку формы, клик по телефону и e-mail, переход в мессенджер. Клик по номеру ещё не звонок: чтобы считать звонки, нужен коллтрекинг.

Отправьте тестовую заявку и найдите её в отчёте по целям. Потом посмотрите в Вебвизоре пару визитов с телефона: видно, где посетитель застрял в форме.