Technical SEO Guideline

В гайдлайне описываются технические SEO требования, которые агентство “Реаспект” рекомендует соблюдать при разработке сайтов.

Код ответа сервера или код состояния HTTP (англ. HTTP status code) — часть первой строки ответа сервера при запросах по протоколу HTTP.

Для проверки кодов ответа через сервис можно использовать сервис Яндекс проверка ответа сервера.

Для корректного индексирования сайта роботами поисковых систем необходимо правильно использовать представленные ниже коды.

Код ответа 200 (ОК) — документы (страницы сайта) существуют и доступны к индексированию.

Все документы, которые должны быть проиндексированы роботами поисковых систем должны отдавать код 200 (ОК).

Коды ответов 30* используются для перенаправления запроса. Распространенные:

301 (Moved Permanently) — документ уже не используется сервером, а ссылка перенаправляет на другую страницу.

Все документы, которые по какой-либо причине изменили свой url на другой на постоянной основе, должны по старому адресу отдавать код ответа 301 с указанием нового адреса.

302 (Moved Temporarily) — запрошенный документ временно находится под другим адресом.

Все документы, которые по какой-либо причине временно изменили свой url на другой, должны по старому адресу отдавать код ответа 302 с указанием нового адреса.

Если документ перемещен на постоянной основе, он должен отдавать код ответа 301.

Другие коды перенаправления 30* при оптимизации не используются. С перечнем дополнительных ответов вы можете ознакомиться в справочнике по кодам статуса HTTP от Яндекса.

Коды ответов 40* используются для указания на ошибку доступа по вине клиента. Распространенные коды:

401 (Unauthorized) — для доступа к документу необходимо вводить пароль или быть зарегистрированным пользователем.

403 (Forbidden) — установлены ограничения в доступе для клиента к указанному документу.

Данный код ответа должны отдавать все документы, несущие технический характер, и которые не должны быть доступны для индексирования.

404 (Not Found) — документ не существует.

Данный код ответа должны отдавать все адреса несуществующих документов. А также все адреса с удаленными документами.

Другие коды ошибок клиента 40* при продвижении используются редко. С перечнем данных ответов вы можете ознакомиться в справочнике по кодам статуса HTTP от Яндекса.

Коды ответов 50* используются для указания на ошибку доступа сервера. Распространенные коды:

503 (Service Unavailable) — возникла ошибка из-за временной перегрузки или отключения на техническое обслуживание сервера.

Данный код ответа сайт должен отдавать в случае отключения сервера на профилактику или проведения технического обслуживания.

Возникновения других кодов ошибок сервера не желательно. С перечнем распространенных ответов ошибок серверы вы можете ознакомиться в справочнике по кодам статуса HTTP от Яндекса.

Скорость загрузки сайта влияет на скорость и количество документов, которые индексируются роботами поисковых систем за один обход. Также этот показатель влияет на поведение пользователей, что косвенно влияет на позиции сайта в выдаче поисковых систем.

Мы советуем максимально оптимизировать все факторы, влияющие на скорость загрузки сайта.

Кроме описанных ниже приемов, допускается использование и других наработок.

html, css, js код сайта должен быть максимально чистый.

Наличие ошибок в коде может влиять не только на скорость загрузки, но и на корректность отображения страниц в разных браузерах.

В идеале все страницы сайта должны проходить валидацию в сервисах W3C:

• валидатор HTML кода — https://validator.w3.org/;

• валидатор CSS кода — http://jigsaw.w3.org/css-validator/.

Код сайта должен быть максимально емким.

Должны отсутствовать:

• неуместные “костыли”;

• комментарии;

• неиспользуемые участки кода;

• в отдельные файлы должен быть вынесен код стилей (CSS) и скриптов (JS).

Желательно чтобы объем кода не превышал 100 кб.

Для измерения технических параметров страницы, в том числе размера кода, мы рекомендуем использовать сервис https://tools.pingdom.com/.

Скорость ответа сервера должна быть максимально быстрой. В идеале не должна превышать 200 мс.

Для проверки времени ответа сервера можно использовать сервис https://webmaster.yandex.ru/tools/server-response/.

Для ускорения ответа сервера можно использовать следующие приемы:

• оптимизировать работу базы данных;

• использовать мощный сервер;

• использовать акселераторы PHP;

• использовать серверное кэширование.

Время загрузки кода страницы в идеале не должно превышать 2 секунд.

Для проверки скорости загрузки кода можно использовать сервис https://tools.pingdom.com/.

Для ускорения скорости загрузки кода можно:

• использовать сжатие gzip;

• уменьшить количество запросов браузера.

Корректная верстка страниц сайта влияет на правильное отображение страниц в разных браузерах и при разных условиях.

Атрибут charset указывает кодировку документа. Размещается в пределах контейнерах HEAD.

Синтаксис:

Рекомендуем размещать данный атрибут на всех страницах для корректной интерпретации контента страниц пользовательскими браузерами и поисковыми роботами.

Страницы сайта должны корректно отображаться на всех основных браузерах и их версиях.

Статистику использования браузеров можно посмотреть в отчете сервиса “Яндекс.Радар (Браузеры)”.

Для проверки отображения сайта на разных устройствах и в разных бразуерах можно использовтаь сервис https://www.browserstack.com/.

Страницы сайта должны корректно отображаться на основных разрешениях и при разном масштабировании контента.

Статистику разрешений можно посмотреть в отчете сервиса “Рейтинг сайтов Liveinternet (Разрешения)”

Страницы сайта должны корректно отображаться на всех основных устройствах: настольные компьютеры, планшеты и телефоны.

Статистику использования устройств можно посмотреть в отчете сервиса “Яндекс.Радар (Типы устройств)”.

Для проверки отображения сайта на разных устройствах и в разных бразуерах можно использовтаь сервис https://www.browserstack.com/.

К техническим файлам относятся файлы сайта, влияющие на индексирование сайта поисковыми системами.

Robots.txt — текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.

• использование файла robots.txt Яндексом, Google,

• инструкции по составлению правильного robots.txt,

• проверка robots.txt для Яндекса.

Sitemap.xml — список ссылок на основные страницы сайта, оформленные в формате xml. Используются поисковыми системами для понимания актуальной структуры сайта.

• использование файла sitemap.xml Яндексом, Google,

• инструкции по составлению правильного sitemap.xml,

• проверка sitemap.xml для Яндекса.

Архитектура подразумевает под собой вложенность страниц на сайте.

Корректная архитектура влияет на скорость индексирование сайта поисковыми системами, удобство использования сайта пользователями, а также, косвенно, на позиции сайта в поисковой выдаче.

Символы, рекомендуемые для использовать в url:

• арабские цифры,

• латинские буквы в нижнем регистре,

• кириллические буквы в нижнем регистре,

• двоеточие («:»), для отделения протокола от основного адреса,

• слэш («/»), для разделения вложенности url,

• тире («-»), для обозначения пробела,

• вопрос («?»), для обозначения начала параметра GET запроса,

• равенство («=»), для обозначения значения параметра GET запроса,

• амперсанд («&»), для обозначения объединения параметров GET запроса.

Символы, не рекомендуемые для использования в url:

• подчеркивание («_»), для обозначения пробела. Не рекомендуется поисковой системой Google.

• латинские буквы в верхнем регистре,

• кириллические буквы в верхнем регистре,

• символы, не рекомендуемые для использования, в связи с усложнением url в процессе декодирования:

• !

• "

• $

• %

• '

• *

• ,

• ;

• <

• >

• [

• ]

• ^

• `

• {

• |

• }

• <пробел>

Структура url должна быть простой и понятной для пользователя.

Рекомендуем использовать в url ключевые слова, обозначающие, что размещено на странице. И, по возможности, избегать использования идентификаторов, состоящих из множества цифр.

Вложенность url должна отображать вложенность страниц сайта.

Разные типовые страницы должны объединяться в родительской категории. Например, товарные группы в интернет-магазинах должны быть объединены в разделе /catalog/.

Пример вложенности url для интернет-магазина:

Уровень вложенности страниц — количество кликов от главной страницы до целевой страниц.

• главная страница — первый уровень,

• страницы, на которые идут ссылки с главной — второй уровень,

• последующие страницы — третий и так далее уровень.

Рекомендуем не превышать уровень вложенности более 3.

Пример уровня вложенности страниц для интернет-магазина:

Ссылки на страницах сайта должны содержать текст (анкоры) для предоставления пользователям и роботам поисковых систем большей информации о материалах, размещенных на страницах.

Хлебные крошки — элемент интерфейса, который отражает месторасположение страницы в структуре сайта.

Хлебные крошки должны присутствовать на всех страницах сайта, кроме главной страницы.

В структуре хлебных крошек должны присутствовать основные родительские разделы страницы, включая главную страницу и страницу, на которой находится пользователь. При этом все страницы, кроме той, на которой находится пользователь, должны быть оформлены ссылками.

К мультимедиа документам относятся файлы и документы, используемые для визуализации или скачивания пользователями.

Мы рекомендуем пользоваться следующими рекомендациями при работе с мультимедиа файлами.

Все изображения должны храниться в отдельной папке.

Для thumbnail создавать отдельные папки по размерам, которые должны входить в структуру основной папки с изображениями.

Все изображения на сайте должны быть оптимизированы для быстрой загрузки.

Для проверки размера и возможности оптимизации изображений можно использовать сервис https://tools.pingdom.com/ или https://developers.google.com/speed/pagespeed/insights/.

Рекомендуем:

• не использовать масштабирование больших изображений, а подготавливать варианты изображений для соответствующих блоков на сайте;

• использовать сервисы сжатия изображения, без потери качества (пример: https://www.imagemagick.org/).

Все офисные документы и документы предназначенные для скачивания (.doc, .xls, .pdf, .rar, .swf и другие) должны храниться в отдельной папке.

Так-же, они должны быть закрыты от индексации роботами поисковых документов. В противном случае, подобные документы могут участвовать в ранжировании, и заменять собой целевые страницы в поисковой выдаче.

Все файлы .js и .css должны храниться в отдельной папке, или папках.

Все подобные файлы должны быть открыты для индексации роботами поисковых систем.

При верстке и оформлении сайтов необходимо придерживаться основным правил по использованию некоторых типов тегов.

Элемент <div> является блочным элементом и предназначен для выделения фрагмента документа с целью изменения вида содержимого.

Тег <span> предназначен для определения строчных элементов документа.

Текстовые элементы, размещенные непосредственно в данном теге, без использования текстовых тегов, считается, имеет меньший вес.

В связи этим, не рекомендуется “голое” использование данных тегов для размещения основной текстовой информации на страницах сайта.

Тег <p> задает текстовый абзац для основного контента на сайте (например, статьи или описания товара, категории в интернет-магазине).

Данный тег рекомендуется использовать для основного текста на страницах сайта.

Тег <b> выделяет текст жирным начертанием. Используется для визуального выделения текстовых элементов.

Тег <strong> выделяет текст жирным начертаниям. Используется для акцентирования и логического выделения текстовых элементов.

Тег <i> выделяет текст курсивным начертанием. Используется для выделения специфически терминов, цитирования и т.п.

Тег <em> выделяет текст курсивным начертанием. Используется для акцентирования и логического выделения текстовых элементов.

Использование указанных выше тегов при верстке шаблонов не рекомендуется, в связи с характером значения самих тегов.

Визуальное выделение рекомендуется реализовывать с использованием CSS.

Использование данных тегов при размещении текстов на сайта, без рекомендаций SEO-специалистов не рекомендуется, в связи с большим влиянием данных тегов поисковые системы.

Теги H1–H6 обозначают заголовки для контента страниц. И должны быть уникальными для каждой страницы.

Тег H1 допустимо использовать не более 1 раза, для обозначения названия страниц. Рекомендуем размещать данный тег вверху страницы, перед основным контентом.

Теги H2 – H6 допустимо использовать любое количество раз, при соблюдении иерархии вложенности.

Теги заголовков H1–H6 должны быть логически связаны с контентом, размещенными под ними.

Теги и мета-теги оптимизации влияют на формирование заголовков и описаний страниц в выдаче поисковых систем.

Все из указанных в данном разделе тегов устанавливают в пределах контейнера head.

Для обеспечения высокого качества создаваемых заголовков и описаний страниц, необходимо:

• делать теги и мета-теги оптимизации информативными,

• делать теги и мета-теги оптимизации точными.

Тег <title>...</title> — заголовок страницы, который отображается браузером в заголовке окна, а также содержит ссылку на сайт на странице результатов поисковой выдачи.

Title каждой страницы должен быть уникален, информативен и содержать краткое описание того, что представлено на странице.

Title не должен превышать 70 символов.

Не рекомендуется перечисление большого количество ключевых фраз.

Кроме того, на всех страницах сайта, к title должна добавляться, через знак « | » или « — », автоматическая бренд-подпись.

• если бренд уникальный, или «раскрученный», например «Tagline» или «Реаспект», бренд-подпись устанавливается в виде названия самого бренда.

• если бренд небольшой, или название не уникальное, например «Мир обоев», бренд-подпись устанавливается в виде домена сайта, без указания протокола и www.

Пример title:

<meta name="description" content="...">  — мета-тег, который может использоваться поисковыми системами в тексте описания сайта в поисковой выдаче.

Description каждой страницы должен быть уникален, информативен и содержать краткое описание того, что представлено на странице.

Description не должен превышать 160 символов.

<meta name="Keywords" content="...">  — список ключевых слов, который используется на странице.

Google не учитывает keywords.

Яндекс может учитывать keywords.

Заполнять данный мета-тег не обязательно, в связи с тем, что не доказано какое-либо его влияние на выдачу поисковых систем.

При заполнении данного мета-тега, стоит через запятую указать 3-5 основных ключевых запросов, встречающихся на странице. Длина keywords не регламентируется.

Группа данных мета-тегов влияет на то, как поисковые системы будут индексировать страницы, на которых они установлены.

<link rel="canonical" href="..." /> используется в том случае, если одна и та-же страница, по какой-либо причине, доступна по двум и более разным url адресам.

В таком случае, необходимо указать на всех одинаковых страницах каноническую ссылку основной страницы.

В таком случае, поисковые системы будут исключать из индекса все неканоничные страницы, в пользу каноничной страницы.

Примеры страниц, на которых могут использовать указания canonical:

1. Постраничная навигация, начиная со второй страницы. Каноничная страница в таком случае — первая страница.

2. Разные варианты одного товара, например: размеры одежды и обуви, объем банок спортивного питания и так далее. Каноничной страницей в таком случае указывается один конкретный вариант товара.

3. Результаты фильтрации или сортировки. Каноничной станицей должна выступать основная страница, без параметров сортировки или фильтрации.

Кроме того, мы рекомендуем изначально добавлять на все страницы ссылки canonical на саму себя, во избежание формирования разнообразных дубликатов.

<meta name="robots" content="noindex|nofollow|none|index|follow"/> используется для регулирования индексации страниц на странице, на которой размещены данные мета-теги.

Значения:

• noindex — запрещает индексировать текстовый контент, который размещен на странице. Ссылки присутствующие на странице будут учтены, но страница не будет участвовать в поиске.

• nofollow — запрещает роботам поисковых систем переходить по ссылкам, размещенным на странице

• none (равносильно “noindex, nofollow”) — запрет индексации текстового контента и перехода по ссылкам на странице

• index — разрешение индексации текстового контента на странице. Поисковые системы будут считать что на странице установлен index, если на странице отсутствует мета-тег meta name="robots" с запретом индексации

• follow — разрешить переход по ссылкам со страницы. Поисковые системы будут считать что на странице установлен follow, если на странице отсутствует мета-тег meta name="robots" с запретом индексации

Примеры страниц, для которых могут применяться мета-теги запрета индексации:

• noindex, follow — запрет индексации текстовой информации на постраничной навигации, начиная со второй страницы. Для избежания появления дублей каталогов

• noindex, nofollow (или none) — запрет индексации страниц сортировок и фильтраций.

Не рекомендуется использовать данные мета-теги без квалифицированного контроля.

<link rel="prev|next" href="..."> используется для установления связи между отдельными url.

Рекомендуем применение данных мета-тегов для связывания страниц постраничной навигации.

Дублирование контента — присутствие одного и того же текстового контента на двух и более страницах сайта или нескольких сайтов.

Поисковые системы негативно относятся к дублированию контента, что может влиять как на индексацию страниц сайта, содержащих одинаковый контент, так и на позиции сайта в поисковой выдаче.

Необходимо исключить все возможные способы появления дубликатов контента.

Зеркалами считаются сайты, которые содержат идентичный контент на страницах, доступных по одинаковым адресам (относительно хоста).

Примеры зеркал:

1. Хост с «www.» и без «www.».

2. Безопасный (https://) и небезопасный (http://) протоколы.

3. Другие домены и поддомены, содержащие идентичный контент. Например dev.site.ru и site.ru.

Для устранения лишних зеркал сайта рекомендуем:

1. Если сайт работает на безопасном протоколе, добавить оба протокола в  Яндекс.Вебмастер, на вкладке «Переезд сайта» (Индексирование — Переезд сайта) отметить чек-бокс в пункте «Добавить HTTPS».

2. Добавить все зеркала в Google Search Console, в разделе «Настройки сайта» (Шестеренка — Настройки сайта), в пункте «Основной домен» выбрать основное зеркало.

3. Со всех страниц зеркал настроить 301 код перенаправления на аналогичные url адреса страниц основного зеркала.

К техническим дубликатам относятся страницы по url-адресам, которые появляются вследствие технических ошибок или недоработок при разработке и поддержке сайта, при этом, содержащие контент других страниц.

Примеры технических дубликатов:

1. URL со «/» и без «/» на конце.

2. URL без расширений и с расширениями (.php|.htm|.html|.aspx|...) на конце.

3. URL, которые при изменении (добавлении или удалении символов) продолжают отдавать контент основного url.

Все страницы, непредусмотренные владельцами сайтов должны отдавать 404 или 301 ответы сервера.

К служебным дубликатам относятся страницы, которые возникают вследствие добавления каких-либо параметров.

Примеры служебных дубликатов:

1. URL с параметрами сортировки или фильтрации.

2. URL с метками отслеживания (cookie, utm и так далее)

3. URL с результатами поиска по сайту.

Все подобные страницы должны быть закрыты от индексации через мета-теги запрета индексации.

К частичным дублям относится размещение значительного объема одинакового текстового контента на разных url-страницах сайта.

Примеры частичных дубликатов:

1. Размещение соглашений (оферта, privacy policy и других) на всех страницах

2. Размещение карточек полных описаний на страницах каталогов.

Подобный контент должен закрываться от индексации через добавления контейнера <!--noindex→...<!--/noindex-->.

К тиражированию относится размещение одного и того-же текстового контента на разных сайтах.

Примеры тиражирования:

1. Размещения одного и того-же описания компании на страницах сайта компании и страницах других сайтов (справочники, социальные сети, партнеры).

2. Размещения описания товаров, предоставляемого поставщиком нескольким разным компаниям.

3. Воровство текстового контента разными сайтами.

Важно: тиражирование технических характеристик является приемлемым и допускаемым.

На сайте не должно быть тиражированного контента. Весь контент должен быть уникальным.

Для повышения устойчивости к воровству, контент должен писаться с учетом особенностей каждой отдельной компании.

К дублям выгрузки относится дублирование контента, которое происходит вследствие появления на сайте нескольких разных url страниц с одинаковым текстовым контентом.

Причины появления дублей выгрузки:

1. Непродуманная структура формирования url в интернет-магазине, в следствии чего, товары имеют url, зависимый от каталога, в котором они находятся. Таким образом, если один товар размещается в нескольких разных каталогах, каждый раз он имеет новый url.

   При возникновении подобной ошибки рекомендуем использовать теги canonical.

2. Некорректная выгрузка, в следствии которой одни и те же товары выгружаются по разными url-адресам.

   При возникновении подобной ошибки, рекомендуем, кроме устранения источника ошибки, использовать 301 ответ сервера, с перенаправлением на правильную страницу.

3. Ошибка контент-менеджера, который может разместить один и тот-же контент по разным url.

   При возникновении подобной ошибки, рекомендуем, кроме устранения источника ошибки, использовать 301 ответ сервера, с перенаправлением на правильную страницу.

Семантическая разметка — дополнительный код, целью которого является сделать сайт более понятным, структурированным и облегчить поисковым системам и специальным программам извлечение и обработку информации для удобного её представления в результатах поиска.

Внедрение некоторых типов семантической разметки способствует выводу дополнительной информации о сайте в поисковой выдаче, что способствует привлечению внимания пользователей и повышению посещаемости сайта.

Яндекс и Google предоставляют возможность использования нескольких форматов семантической разметки.

Рекомендуем обязательное внедрение перечисленных ниже типов микроразметки.

Техническая документация доступна в галерее семантической разметки.

После внедрения семантической разметки обязательно прохождение валидации в сервисах Яндекса и Google.

Улучшает внешний вид адреса сайта в поисковой выдаче Google.

Добавляют дополнительную информацию (телефон, время работы, метро и др.) к сайту в поисковую выдачу Яндекс.

Добавляет дополнительную информацию о товарных предложениях в поисковую выдачу Яндекса и Google.

Добавляет дополнительную информацию с отзывами в поисковую выдачу Google.