Методика технического аудита сайта

Содержание

Технический аудит делается для того, чтобы сайт корректно отдавал данные браузерам и поисковым роботам поисковых систем. Данные должны быстро выдаваться сервером, соответствовать стандартам (html5, микроразметки) и правилам индексирования поисковых систем (Яндекс — https://yandex.ru/support/webmaster/recommendations/indexing.html, Google — https://support.google.com/webmasters/answer/7440203).

Итоговая цель аудита — получить список технических ошибок, рекомендаций по их исправлению, которые должны стать основой для задач веб-программисту или SEO-специалисту.

Список основных технических проблем:

Дубли метатегов
Отсутствие метатегов и h1
Не оптимизированные метатеги
Внутренние редиректы
«Битые» ссылки
Наличие микроразметки
Ошибки, указанные в Яндекс Вебмастере
Ошибки из консоли Гугла.
Размер файлов изображений
Корректность robots.txt
Корректность sitemap.xml
Корректность работы на мобильных устройствах
Индексация в Яндекс и Google
Скорость загрузки главной страницы, каталога, карточки товара
Корректность «хлебных крошек»
Корректность страницы 404
Реализация rel=canonical
Перелинковка
Прочие ошибки

Массовые проверки страниц (парсинг) проводятся программами — краулерами. Например, «Screaming Frog SEO Spider» или «SiteAnalyzer». Рассмотрим каждую техническую проблему.

Дубли метатегов

Если одна из целей сайта — получение трафика из поисковых систем, то контент на индексируемых страницах не должен дублироваться. В том числе важные зоны документа: заголовок и описание страницы. Они содержатся в теге <title> и атрибуте «content» мета тега «description». Пример описания веб страницы: <meta name=»description» content=»Лучшие телефоны по самым низким ценам.» />.

Отсутствие описаний страниц description, заголовков страниц title и текстовых h1

Основной текстовый заголовок <h1> может дублироваться, но он должен присутствовать на продвигаемых страницах. Также оценивается наличие заголовков <title> и описаний «description» на индексируемых страницах.

Не оптимизированные метатеги

Оценивается длина заголовков и описаний. <title> продвигаемых страниц должен содержать все слова из ключей кластера и бренд. По умолчанию настройки Screaming Frog для заголовков — от 30 до 60 символов.

Для Meta Description от 70 до 155 символов.

Правила не строгие, они скорее указывают, что можно внести быстрые правки без семантического ядра или взять страницы на заметку и внести правки после присвоения кластера странице.

Также можно учесть рекомендации Яндекса по созданию заголовков: https://yandex.ru/support/webmaster/search-results/title.html

И описаний: https://yandex.ru/support/webmaster/indexing-options/description.html.

Внутренние редиректы

После парсинга сайта краулером можно посмотреть кода ответов страниц. Если есть ссылки на внутренние страницы сайта с кодом ответа 3хх (например, 301 или 302), то необходимо понять на каких страницах эти страницы и в каком месте страниц. И составить ТЗ программисту на корректировку таких ссылок. Поменять у них адрес на тот куда ведет редирект или последний в цепочке редиректов, если их несколько.

«Битые» ссылки

«Битые» ссылки — это ссылки, ведущие на несуществующую страницу, возможно она была удалена или поменяла адрес. С каждой такой ссылкой нужно разбираться отдельно. Либо менять адрес на подходящую страницу, либо удалять ссылку.

Наличие микроразметки

Микроразметка позволяет распознать поисковой системе тип контента и менять отображение результата — сниппета. На сниппет влияет разметка хлебных крошек https://schema.org/BreadcrumbList всех страниц и товаров интернет магазинов https://yandex.ru/support/webmaster/supported-schemas/strict-microdata-offers.html. Поисковые системы меняют использование микроразметки на поисковой выдаче и раньше поддерживали разметку «Вопросы и ответы» https://schema.org/FAQPage https://developers.google.com/search/docs/appearance/structured-data/search-gallery?hl=ru .«FAQPage» имеет смысл добавить на страницы с вопросами/ответами и в блоки с вопросами и ответами.

С тем какие типы микроразметки поддерживают поисковые системы на текущий момент можно ознакомиться на страницах справки https://yandex.ru/support/webmaster/schema-org/ и https://developers.google.com/search/docs/appearance/structured-data/search-gallery?hl=ru.

Проверить корректность микроразметки можно валидаторами https://webmaster.yandex.ru/tools/microtest/ и https://developers.google.cn/search/docs/appearance/structured-data?hl=ru.

Также проверяется наличие и корректность микроразметки для правильного репостинга страницы в соцсетях — разметка Open Graph https://yandex.ru/support/webmaster/open-graph/?ysclid=m1dr0k9un7990462871.

Ошибки из Яндекс Вебмастер

Количество ошибок сразу отображаются на экране сводки в панели вебмастера в разделе «Диагностика. Проблемы сайта».

При их наличии нужно перейти в раздел и посмотреть, какие именно ошибки отображаются. Это могут быть: долгий ответ сервера, дубли заголовков и описаний.

В аудите перечисляются проблемы и пишутся рекомендации. Например, если не включен обход по счетчикам и Вы считаете, что нужно его включить (например, если запущена контекстная реклама или предполагается трафик не из органической выдачи яндекса), то ставится рекомендация включить обход по счетчикам.

Если делается углубленный аудит, то оцениваются снижения количества проиндексированных страниц — выгружают списки удаленных страниц и пытаются найти закономерности — определенный тип страниц (листинги товаров, товарные страницы, страницы с отзывами и т. п.) или разделы (телевизоры, антенны или факсы).

Ошибки из Google Search Console (GSK)

Индексирование

Рассмотрим причины и что делать.

Индексирование страницы запрещено тегом noindex. Список страниц нельзя скачать из GSK, поэтому при стандартном парсинге краулером обращаем внимание на то, что нужные страницы должны быть открыты для индексации. Смотрим на примеры непроиндексированных страниц. Они позволят быстро найти шаблонные или единичные ошибки.
Заблокировано в файле robots.txt. То же самое. Стандартным парсингом смотрим, чтобы нужные страницы были открыты в robots.txt и смотрим примеры страниц. Если это виды сортировки и т. п., то всё ок. Если нет — правим robots.txt.
Страница с переадресацией. Тут нужно понять где возникает ошибка. Либо она в sitemap.xml, либо на какой то странице. Поэтому у примеров страниц нажимаем на URL и в появившемся окне нажимаем «Проверить URL».

И смотрим источник ссылки:

Открываем страницы — источники, открываем код страниц на новой вкладкой клавишами Ctrl+U и ищем адрес проверяемой страницы без домена. Если находим — вносим ошибку в аудит.
Вариант страницы с тегом canonical.Проверяем примеры страниц, удобно открыть их в браузере с установленным расширением браузера Alaev SEO Tools. Сразу будет понятно, индексируемая ли это страница и отличается ли canonical. Страницы пагинации не проверяем, если страница нужна в индексе — добавляем ошибку в аудит.
Не найдено (404). Открываем примеры страниц с этой ошибкой в новой вкладке:

По открытым вкладкам ищем страницы 404. А у них проверяем страницу в отчете для поиска ссылки на URL с ошибкой в sitemap.xml или на странице с которой ссылка в секции «Как обнаружено». Если находим, добавляем ошибку в аудит.
Страница является копией. Канонический вариант не выбран пользователем. Если это файлы документов, пропускаем. Если страницы, открываем, проверяем наличие canonical. Если нет — добавляем ошибку в аудит.
Страница заблокирована из-за ошибки 403 (доступ запрещен). Смотрим примеры, если есть что-то, что должно быть в индексе, открываем на сайте, проверяем возможность индексации Alaev SEO Tools. Ошибки добавляем в аудит.
Ошибка переадресации. Пробуем открыть. Если браузер отображает ошибку «ERR_TOO_MANY_REDIRECTS», ищем источник ссылки в xml карте сайта или в коде ссылающейся страницы. Если находим — добавляем ошибку в аудит.
Страница просканирована, но пока не проиндексирована. Проверяем примеры урлов, если нет в индексе, открываем страницы в браузере. Если под страницу может быть поисковый спрос и на ней достаточно контента, оставляем как есть. Если под страницу нет поискового спроса, рассматриваем возможность добавить на страницу тег <meta name=»robots» content=»noindex» />. Если контента мало по сравнению со страницами конкурентов по продвигаемому запросу — рассматриваем возможность добавления контента. Если принято решение закрывать страницы от индексации или добавлять контент — добавляем это в аудит.
Обнаружена, не проиндексирована. Проверяем примеры на возможность индексации Alaev SEO Tools.Если есть ошибки — добавляем их в аудит.

Рекомендую ознакомится с документацией Google по работе с отчетами по индексированию страниц. В ней описаны принципы работы с отчетом по индекскации в различных случаях, принципы самой индексации, есть ответы на распостраненные вопросы: https://support.google.com/webmasters/answer/7440203.

Качество

В этом разделе показывается информация об ошибках качества страниц Core Web Vitals для мобильных и десктопных страниц и ошибках протокола HTTPS.

Ошибки Core Web Vitals для отображения на мобильных устройствах.

Пример ошибки и что с ней делать: Значение показателя «LCP» слишком велико: более 2,5 с (мобильные устройства).

Эта ошибка описывает слишком медленную загрузку основного контента страницы. Урлы с ошибками разделены на группы. В каждой группе выбирается URL и проверяется инструментом PageSpeed Insights.

В этом же отчете ниже указаны рекомендации:
Также проверяются ошибки Core Web Vitals для десктопов:

Методика та же — по одному из группы урлов проверяются ошибки PageSpeed Insights. Рекомендации записываются в аудит.
Если есть страницы по протоколу HTTP их нужно перевести на HTTPS.

Улучшения

Раздел «Улучшения» описывает наличие и ошибки микроразметки. В этой секции рассматривается наличие микроразметки на страницах (например, «Строки навигации», «Проверка кода») и ошибки микроразметки в отчете «Структурированные данные, не поддающиеся анализу».

1. Отчеты по наличию микроразметки, их может быть несколько. Отображают количество страниц с микроразметкой этого типа, например: «Строки навигации» — это разметка хлебных крошек (может отображаться на поисковой выдаче).

«Проверка кода» — микроразметка отзывов и рейтинга товаров. Подробнее здесь: https://developers.google.com/search/docs/appearance/structured-data/review-snippet?hl=ru.

«Структурированные данные, не поддающиеся анализу» — отчет об ошибках в микроразметке.

«Меры, принятые вручную» и «Проблемы безопасности».

В этих разделах обычно ошибок нет. Если будут санкции, наложенные вручную, имеет смысл поискать ответы на форумах и профильных ресурсах, снять будет сложно. Если есть ошибки в разделе «Проблемы безопасности», ошибку нужно внести в аудит, поставить задачу программисту, чтобы проверил сайт на вирусы.

Отчет «Ссылки»

Отчёт «Ссылки» делится на разделы «Внутренние ссылки» и «Внешние ссылки».

«Внешние ссылки». Если есть сайты с большим количеством ссылок, возможно это связанные сайты с ошибками в ссылках. Сайты отображаются в разделе «Сайты, ссылающиеся чаще всего». Сами ошибочные ссылки можно предположить в разделе «Страницы, на которые чаще всего ссылаются».
«Внутренние ссылки» — если есть нежелательные сквозные ссылки (например, на товары без поискового спроса), то это можно отметить в аудите как ошибку.

Настройки

В разделе настройки можно посмотреть отчеты корректности robots.txt, статистику доступности сайта и статистику сканирования.

Отчет «robots.txt» покажет синтаксические ошибки.
Отчет «Статистика сканирования». Можно посмотреть статистику сканирования за последние 3 месяца: количество запросов, скачанных данных, время отклика.

Если есть аномальные зоны, их нужно постараться связать с работами по сайту или хостингу, постараться выявить причины.

Следующий раздел отчета — «Статус хоста». Если есть ошибки — указываем что было недоступно и когда.

Можно посмотреть распределение ответов запросов на сканирование, например с кодом 404.

Размер файлов изображений

Оцениваем результаты сканирования изображений краулером — если изображени до 100КБ — ок. Если больше, их нужно пережать и желательно перевести в формат webp. Список изображений для пережатия добавляем в приложение к аудиту.

Корректность robots.txt

Смотрим доступны ли нужные страницы (каталоги, карточки товаров, услуги, дополнительные страницы) для индексации и недоступны ли страницы с измененной сортировкой, с измененным количеством товаров, корзина, личный кабинет и т. п. Есть ли ссылка на корректный sitemap.xml. Если нужно внести изменения, делаем готовое содержимое robots.txt и прикладываем к аудиту.

Корректность sitemap.xml

Файл должен формироваться автоматически средствами CMS сайта. Делаются 2 списка: список страниц, которые должны быть в поиски и список страниц в sitemap.xml. По этим спискам делаем рекомендации, что не должно попадать в карту сайта, а что должно.

Корректность работы на мобильных устройствах

Вставляются отчеты и рекомендации из консолей поисковых систем для главной, каталогов, страниц услуг и товаров. Также необходимой зайти на сайт на своём телефоне и попробовать нажать на телефонный номер, на кнопку оставить звонок, попробовать заказать услугу, купить товар через корзину. В случае нахождения ошибок сделать скриншоты, добавить ошибки в аудит.

Индексация в Яндекс и Google

Выгружаем список проиндексированных Яндексом страниц («Индексирование», «Страницы в поиске», «История», «Все страницы»).

Если проиндексированных в Google страниц меньше 1000, то выгружаем их из отчета «Страницы».

и смотрим список на вкладке «Таблица».

Если нужно проверить больше 1000 страниц, то можно использовать программу xml ривер или сравнить общее количество страниц, которые должны быть проиндексированы с количеством проиндексировнных в google страниц.

На основе выгруженных данных необходимо понять, удовлетворительная ли ситуация с индексациями каталогов, карточек товаров, услуг. Если имеется поисковый спрос, а процент страниц в индексе меньше 80-90%, то необходимо поэлементно проверить каждый тип страниц со страницами из ТОПа и предположить, что нужно добавить или поменять. При сравнении необходимо использовать плагин, который подсвечивает неиндексируемые области страниц, например «Alaev SEO Tools».

Скорость загрузки по типам страниц

Если доступы в консоли есть, то скорость загрузки уже проверяли в отчета Google Search Console. Если доступов нет, то для главной, каталогов, товарных страниц и других типов из семантического ядра выбирается по одной странице и проверяется в https://pagespeed.web.dev/. После каждой проверки указан список рекомендаций.

Изучаем эти рекомендации, справку по ним и если это реально исправить программисту, то пишем ошибку и рекомендацию в аудит.

Корректность «хлебных крошек»

У каждого типа страниц изучаем наличие промежуточных уровней ссылкой, ссылки должны вести на страницы с кодом ответа 200, последний уровень навигационной цепочки должен быть текстом и присутствовать.

Корректность страницы 404

Страницы с абракадаброй должны отображать страницу 404 и отдавать код ответа 404. Код ответа можно проверить севисом Бертал.

Реализация rel=canonical

Необходимо реализовать rel=canonical на всех страницах. Если страницы неиндексируемые, то на те от которых они образованы (если сортировка реализовывается с помощью get параметров, то на страницу без get параметра). У страниц пагинации либо на себя, либо на первую страницу.

Перелинковка

Все индексируемые страницы (или хотя бы страницы семантического ядра) должны иметь максимум 4 клика от главной страницы. Это можно посмотреть в отчете структуры сайта краулера.

Не должно быть страниц-сирот. Это проверяется сравнением списков страниц из sitemap.xml и найденных переходами по внутренним ссылкам.

Прочие ошибки

Во время проверок сайта могут быть выявлены другие ошибки, например, некорректно работающий калькулятор. Они также добавляются в аудит и по ним пишутся рекомендации.

Заказать обратный звонок