Монетизация интернет-проектов: опыт систематизации

Подавляющее большинство сайтов сети являются катастрофически убыточными. Они требуют расходов на оплату домена, хостинга, занимают время и силы своих владельцев, не принося взамен никакого дохода. Между тем деньги в сети, конечно же есть — главное знать, где искать и делать это с умом.

Проблема монетизации

Процесс обращения чего-либо в деньги, называется монетизацией. В интернет-маркетинге под монетизацией чаще всего подразумевается конвертация трафика (то есть посещений сайта и просмотров страниц) в свободно конвертируемые денежные знаки.

Проблема монетизации стоит для каждого интернет-ресурса тем острее, чем больше он пожирает средств на собственное поддержание, обслуживание и развитие. К сожалению, практика создания проектов без готовой бизнес-модели является общепринятой и характерна не только для энтузиастов-сайтостроителей, но и для многих крупных компаний. Можно привести в пример множество крупных интернет-проектов, существование которых возможно исключительно благодаря финансовой подпитке инвесторов.

Между тем, проблема монетизации интернет-проектов (безусловно актуальная) не так уж проблематична, простите за тавтологию. Чтобы понять, где можно «поднять» денег на вашем сайте, прежде всего нужно хорошенько оглядеться, провести своего рода инвентаризацию и оценить характер и потенциал своего сайта и его аудитории.

Давайте начнем с общих рассуждений: откуда вообще в интернете деньги? По-большому счету из двух источников: от представителей бизнеса и простых пользователей. Первые вкладывают деньги, с целью их приумножить (раскрутка и продвижение, реклама), вторые являются потребителями различных товаров и услуг. Следовательно, чтобы заработать денег в интернете, нужно включиться в одну из цепочек перераспределения денежных средств: рекламную либо торговую.

Поскольку типы проектов бывают очень разные, то и схемы монетизации также могут быть весьма различными. Хорошо известны, например, такие специфические направления, как монетизация социальных сетей и блогов. Свои способы монетизации есть также у развлекательных порталов, онлайн-СМИ и различных нишевых проектов. При всем многообразии, они могут быть логически разделены на четыре классических схемы, по способу извлечения денег.

B2C

Эта схема монетизации интернет-ресурса построена на прямых продажах интернет-проектом пользователям. Первое, что можно привести здесь в пример — это интернет-магазины, однако их бизнес-модель и так очевидна, поэтому давайте рассмотрим, что же еще могут продавать сайты, напрямую для этого не предназначенные.

На самом деле — что угодно, хоть участки лунной поверхности. Если ресурс достаточно популярен, то он может ввести даже платную регистрацию. Ниже мы приводим далеко не полный перечень, сгруппированный по типам интернет-проектов.

Социальные сети	всевозможные дополнительные услуги, внутренняя валюта, регистрация.
Порталы (форумы, трекеры)	контент, доступ к контенту, премиум-аккаунты.
Информационные ресурсы	платный доступ к материалам (статьи, исследования, законодательная база и т.п.)
Блоги (домашние странички)	платный доступ к материалам (образовательные курсы, электронные книги), контенту, сбор пожертвований.

C2B

Схема «Costumer to Business» подразумевает, что интернет-проект в этом случае получает деньги не с рядового посетителя, а с представителей бизнеса за некий товар, услугу или право. Это, пожалуй, наиболее распространенная на сегодняшний день схема монетизации ресурса.

Социальные сети	Инвестиции, реклама.
Порталы (форумы, трекеры)	Инвестиции, реклама.
Информационные ресурсы	Инвестиции, реклама, пазмещение рекламных материалов и удаление провокационных.
Блоги (домашние странички)	Реклама (чаще контекстная), размещение рекламных материалов (только для популярных ресурсов).

B2B

Данная схема подразумевает, что интернет-ресурс предоставляет некие возможности для осуществления бизнеса. Поскольку основные деньги электронной коммерции лежат в продажах, то некоторые умные люди придумали помогать торговцам осуществлять эти продажи. Причем речь может идти не только о непосредственных продажах, но и о раскрутке торговой площадки и других услугах.

Социальные сети	Продажа персональных данных пользователей, поведенческая реклама, торговые площадки (аукционы, прайсы).
Порталы (форумы, трекеры)	Партнерские программы (мобильный контент, рефераты и т. п.), торговые площадки (аукционы, прайсы, доски объявлений), продажа трафика.
Информационные ресурсы	Продажа интернет-трафика (переходов), платные пресс-релизы, пресс-портреты, мониторинг СМИ.
Блоги (домашние странички)	«Реклама в блогах»(участие в PR-кампаниях), партнерские программы, продажа ссылок, трафика.

С2С

Эта модель предполагает получение прибыли благодаря продаже товаров и услуг между пользователями. Это ресурсоемкая в плане реализации модель. Обычно она представлена интернет-аукционами и социальными сетями. Однако, если аукционы изначально ориентированы на нее, то социальные сети додумались до такого способа монетизации сравнительно недавно. А если это смогли социальные сети, почему бы их опыт не перенять порталам, форумам и другим сайтам?

Социальные сети	Внутренняя валюта, аукционы.
Порталы (форумы, трекеры)	Внутренняя валюта, аукционы.
Информационные ресурсы	Простор для фантазии.
Блоги (домашние странички)	Простор для фантазии.

Какую модель выбрать?

Разумеется, ваша собственная модель монетизации не обязательна должна соответствовать только одной из перечисленных выше. Проект может (и должен) ориентироваться на все из них сразу — это лишь раскроет его потенциал в большей степени.

Однако при построении каждой конкретной модели монетизации интернет-ресурса стоит уделить внимание еще и на такой немаловажный фактор, как характер аудитории вашего проекта. Большая она или маленькая? Смешанная или целевая?

Например, для сайтов с высокой посещаемостью и большим ядром отлично подойдут практически все схемы. Сайты с большой посещаемостью, но размытой аудиторией - преуспеют в продаже трафика и медийной рекламы. Небольшие проекты с целевой аудиторией имеют высокий процент конверсии и хорошо заработают на контекстной рекламе или платном доступе к материалам. И даже у совсем маленьких сайтов нет причин для пессимизма: имея более-менее приличные SEO показатели, они вполне могут монетизироваться через продажу ссылок.

Андрей Майданик

Semonitor 4.4

Semonitor 4.4 показывает среднюю позицию и использует волновой поиск.

Очередное обновление программы Semonitor дает ее пользователям возможность видеть среднюю позицию сайта по тому или иному ключевому слову, которую Яндекс показывает в Панели Ве6мастера, учитывая позиции сайта в выдаче для разных регионов.

Кроме того, реализован алгоритм волнового поиска. Раньше при определении видимости сайта программа просматривала все страницы выдачи начиная с первой, пока сайт не обнаружится. Теперь просмотр начинается с той страницы выдачи, где сайт был обнаружен в прошлый раз. Это сокращает время сканирования.

www.optimization.ru/subscribe

Сервис определения CMS от iTrack

Компания iTrack запустила сервис, позволяющий по URL сайта узнать, на какой CMS он работает. Методология опознания основана на характерных фрагментах URL, генерируемых той или иной CMS. Пока в базе 32 "движка", их разработчики приглашаются к сотрудничеству по наполнению базы.

www.optimization.ru/subscribe

Как интернет-магазину появиться в выдаче поиска по покупкам

Открылся новый сервис Покупки Google — поиск товаров в интернет-магазинах России.

«Покупки» позволяют находить товары в более чем 100 000 интернет-магазинах России

На вопросы о том, как интернет-магазину появиться в выдаче поиска по покупкам. Google ответили следующее: "Здесь ситуация такая же как с обычным поиском - используются алгоритмы, информация не добавляется "руками", поэтому принцип остается тоже такой же: робот находит информацию, периодически проходя все сайты, когда на каком-либо сайте происходит обновление, то в следующий заход алгоритм его фиксирует и выдает уже новую информацию". Иными словами – устраняйте проблемы с индексацией сайта Google, добавляйте контент, продвигайтесь в обычном поиске.

Выслать Вам коммерческое предложение по продвижению сайта

nat-t-talka | Записки блудного маркетолога

История произошла где-то год назад. Я тогда работала в Минске, руководила отделом маркетинга в одной крупной многопрофильной компании. Мы тогда как раз запускали новый сайт (был большой проект) и ориентирован он был в основном на Россию. Ну и тут же понеслись звонки от московских компаний с коммерческими предложениями по продвижению сайта. Но поскольку сам процесс создания сайта затягивался, то программы по продвижению откладывались (т.е. пока за них еще не брались). Я терпеливо выслушивала все предложения, объясняла ситуацию и особо настойчивым предлагала скидывать информацию на мыло, со словами: «Пусть у нас будет ваше предложение, а когда мы определимся с продвижением, рассмотрим вашу кандидатуру». Таких звонков было три/четыре в неделю. И вот однажды позвонил очередной продавец. Разговор проходит в стандартном режиме:

• выслушивание
• объяснение
• отправьте на мыло
• потом рассмотрим и подумает

На следующий день от него звонок: «Получили? Посмотрели? Что скажите?». Объясняю, что и получили и посмотрели, но решение будем принимать через пару месяцев. Через два дня опять звонит: «Ну что, Наталья? Вы готовы с решением?». Опять по новой, объясняю ситуацию (ну может человек не все понял с первого раза). Через пару дней он опять звонит: «Я вот тут подумал, что может вы все-таки примите решение раньше?». :((( «Нет уважаемый, мы не примем решение раньше и для этого есть ряд причин (перечисляю причины)». И тогда находчивый продавец предлагает обменяться номерами аськи, чтобы проще было общаться. Обменялись. Состучались. И вот с тех пор каждое утро меня ждал в аське вопрос «Ну что? Как с планами?». Спустя какое-то время, однажды в разгар рабочего дня, я получаю от него сообщение следующего содержания: «Вы обязательно должны сейчас определиться! Надо мной висит угроза увольнения. Если вы не заключите со мной договор, меня со следующего месяца уволят!». Ну что ж…. Раз такое дело, даю совет - «чтобы вас не уволили, постарайтесь максимально продуктивно использовать время! Не тратьте попросту силы на нашу компанию, потому как ситуацию вы знаете, вероятность принятия решения ничтожно мала!

Сконцентрируйте свои усилия на других возможных клиентах». Шантаж не люблю в любых его проявлениях, поэтому после этой фразы приняла решение в любом случае с ним не сотрудничать.

Через дня три получаю очередное сообщение: «Что ж, Наталья! Благодаря Вам я теперь безработный! Из-за Вас я теперь не знаю как содержать семью и чем расплачиваться за кредит. Меня уволили, потому что я не выполнил план, а план я не выполнил, потому что вы не подписали договор». Ну уж нет! Повесить на меня ответственность за свое увольнение у него не получилось, но настроение испортилось. С другой стороны, ежеутренние сообщения прекратились.

Однако, буквально недели через две я получаю от него послание (по аське): «Уважаемая, Наталья! Я теперь работаю в другой компании и хочу выслать Вам коммерческое предложение по продвижению сайта. Думаю, что теперь мы сработаемся!»

Занавес.

Alexa Rank

Обычно Alexa Rank используется для анализа конкурентов.

Можно узнать подробную информацию о сайте: статистику посещений, ключевые слова по которым находят сайт и т. д.

Рейтинг Alexa Rank учитывает число посетителей (Reach), количество просмотров страниц (Page Views).

Чем меньше число Alexa Rank — тем лучше. Самое маленькое число 1 (google.com), если больше 100 000, то присваивается значение 0.

Можно установить плагин Alexa Toolbar for Firefox.

Чем отличается индексация сайтов Яндексом и Google

Константин Шурыгин | 21 января 2010 | Источник

Выходя на российский рынок, многие западные компании сталкиваются с неожиданной проблемой. Их сайты, занимающие высокие места в Google, наполненные видео и красивыми флеш-роликами, получают очень слабые позиции в «Яндексе». Причин тому несколько:

1.  «Яндекс» очень не любит автоматические перенаправления (редиректы) с главной страницы. Сайты многих интернациональных компаний вначале определяют, из какой страны пришел посетитель сайта, а потом автоматически показывают тексты на соответствующем языке. Как правило, «Яндекс» по таким перенаправлениям не ходит и сайта целиком не видит.
2. C java-скриптами поисковые машины обычно не дружат, и эту проблему Google и «Яндекс» решают по-разному. К примеру, сайт Sony.com выдает сообщение: «Вы посетили страницу Sony.com, находясь вне пределов США. Sony предлагает несколько веб-страниц, на которых вы сможете найти необходимую продукцию…», после чего предлагается кликнуть на подходящий вариант. Поисковые роботы не могли поставить галочку и кликнуть по кнопке, и потому сайт вообще не индексировался поисковыми машинами, пока галочки не заменили на прямые ссылки.
3. «Яндекс» медленнее индексирует новые сайты и новые страницы. Так, если на сайте появилась страничка про новый товар или услугу, то Google обычно замечает это и отражает в результатах поиска через 1-2 дня. В выдаче «Яндекса» новая страница появляется в среднем лишь через пару недель.
4. Google лучше разбирается с запутанной навигацией сайта. Скажем, «Яндекс» видит на сайте Sony 49 000 страниц, в то время как Google находит 975 000 — в 20 раз больше. Таким образом, Google может выдать в десятки раз больше товаров и услуг, связанных с сайтом Sony.
5. «Яндекс» и Google по-разному индексируют флеш-сайты. Непредсказуемо индексируются сайты, созданные на популярной ныне технологии AJAX.

Все это приводит к тому, что большинству западных компаний приходится создавать новые сайты, заточенные для продвижения конкретно в российском секторе интернета.

Автор — руководитель проекта компании «Ашманов и партнеры»

Статистика посещений сайта Студии Лебедева

Артемий Лебедев опубликовал в своей жешечке статистику посещений.

Посещения страниц за 18 февраля на сайте artlebedev.ru:

Из двухсот тысяч суточных посетителей (это норма) сто тысяч ходят на морду, 60 тысяч читают свежий выпуск "Бизнес-линча", 50 тысяч смотрят выпуск "Идиотеки".

По 10-20 тысяч смотрят последние работы в портфолио.

Свежая работа в портфолио с анонсом картинкой на морде собирает по 50 тысяч зрителей в первые пару дней.

Получается, что для некоторых заказчиков выгодно заказать в студии рекламу и позволить нам сделать ее на свой вкус. То, что нам очень нравится, публикуется на главной странице в виде графических анонсов. Рекламу увидят сотни тысяч человек - это одно отобьет стоимость заказа.

Любопытно, что это понимает издательство "Претекст", которое заказывает у нас дизайн книжных обложек (http://www.artlebedev.ru/everything/pretext/). Еще более любопытно, что этого не понимает издательство "Манн, Иванов и Фербер", которое в результате оптимизации расходов и отказа от работы с нами потеряло анонсы книг на нашем сайте, а также сбыт своих новых книг в наших магазинах. Думаю, что "Претекст" отбивает минимум половину расходов на дизайн на одних только наших перепродажах, а анонсы на сайте являются приятным бонусом.

Вообще, дизайн приобретает совершенно новый смысл, если на него смотреть с калькулятором в руках.

Купить анонс на нашем сайте нельзя, весь сайт является исключительно независимым проектом. Отсюда и такая посещаемость. Удивительно, что всякие сеошники и джинсовщики не понимают, что честность и собственная точка зрения приносят больше ПР и ТИЦ, чем любая суета на выдаче.

SMM-стратегии

Для продвижения сайта надо использовать социальные сервисы. Среди основных пунктов SMM-стратегии можно выделить следующие:

• полезно вести блог, раскрывая вопросы своей профессиональной компетенции и закрепляя за собой тем самым экспертный статус;
• этот блог необходимо транслировать на другие платформы, например, отправлять заголовки в Твиттер, посты в эккаунт Facebook и так далее;
• отвечать на вопросы пользователей – это не только способ заполучить лояльных читателей, но и способ создать ценный контент для сервисов, на него ориентированных;
• обязательно нужно развивать сеть своих контактов в социальных сервисах – френдить активных пользователей, блоги схожей тематики, экспертов в своей и смежных областях
• создавать блог или аккаунт в соцсети нужно со всей вдумчивостью и тщательностью, заполняя все поля, которые сервис предлагает заполнить;
• необходимо следить за обновлениями функционала используемых социальных сервисов и использовать новые полезные опции;
• с помощью сервисов поиска по вопросам и ответам нужно мониторить обсуждения своей компании (проекта, продукта), участвовать в них, общаясь вежливо, доброжелательно и полезно;
• имеет смысл мониторить популярные запросы, относящиеся к вашей тематике, и писать посты, которые попадут в выдачу «поиска в реальном времени».

Каким будет SEO через 2-3 года

По мнению Лорена Бейкера, основателя и главного редактора всемирно известного SEO-ресурса SearchEngineJournal.com, SEO будет развиваться в социальном направлении. Поведение посетителей на сайте будет все более важным фактором ранжирования в поисковиках. Поисковики анализируют все сайты, которые мы посещаем, все клики, которые мы делаем, все группы, к которым мы принадлежим в социальных сетях, все ссылки, которые мы выкладываем в Twitter. Также учитывается история поиска за много лет.

Социальный или персональный поиск вряд ли значительно измененится в SEO. Для бизнесменов и блоггеров очень важно уже сейчас иметь свою аудиторию читателей и подписчиков.

Поощряйте читателей делиться ссылками на ваши материалы в Твиттере, Фэйсбуке, Одноклассниках и т. д. Чем больше будет ссылок от читателей на ваши статьи, тем большую популярность получит ваш сайт. А это, в свою очередь, положительно повлияет на отношение поисковиков к вашему ресурсу.

Лорен Бейкер убежден, что внутренняя оптимизация, структура сайта, количество и качество внешних ссылок с тематических ресурсов составляют 85% эффекта в поисковом продвижении.

Как поставить себе кнопочку «Follow me»

Вставьте следующий код в свой блог:

<a href="http://www.twitter.com/fortresseo"><img src="http://twitter-badges.s3.amazonaws.com/follow_me-a.png" style="border: 0px none;" title="Stay Tuned on Twitter" /></a>

Клоакинг в продвижении сайта

Клоакинг (cloaking, скрытие) это технология, при использовании которой веб-сервер выдает разный контент в зависимости от того, кто этот контент запрашивает, то есть параметров клиента. Самое популярное использование клоакинга в оптимизации - это выдача разного контента при визите поискового робота и при визите обычного пользователя-человека. Роботу, соответственно, пытаются подсунуть заоптимизированную страницу, а человеку - обычную, которой можно пользоваться.

Но это лишь один из видов клоакинга. Принято называть клоакингом любое поведение сервера, когда содержание страницы зависит от параметров пользователя. В этом смысле клоакингом занимается сам Яндекс - ведь от IP пользователя зависит содержание практически всех блоков на главной странице.

Более того, язык главной страницы по умолчанию зависит от языка браузера.

Таким образом, можно смело сказать, что Яндекс к клоакингу относится нормально - как к любому техническому средству, которое само по себе не может нести отрицательные качества. А вот к попыткам выделить из общей массы пользователей поискового робота и показать ему что-то особенно оптимизированное - конечно, строго отрицательно. Никому не нравится, когда его хотят обмануть, правильно?

Впрочем, возможно, по мере того, как поисковые системы внедряли внешние факторы ранжирования, клоакинг перестал приносить заметный эффект и потерял былую популярность.

www.searchengines.ru

Сервис ВебЭффектор

Основные рабочие инструменты оптимизатора сегодня — это покупка ссылок с нужными ключевыми словами на качественных сайтах, а также оптимизация контента. При этом результат зависит от трёх основных факторов:

• качественный подбор доноров;
• правильные анкоры;
• своевременная чистка ссылок.

Появился новый инструмент ВебЭффектор, который осуществляет:

1. Автоматический подбор запросов с продвинутой фильтрацией
2. Автоматический подбор максимально релевантных страниц
3. Оценка оптимального ежемесячного бюджета
4. Генерация текстов ссылок с адекватным алгоритмом
5. Размещение на площадках с гарантией индексации

Спецификация robots.txt

Путь к файлу robots.txt

1. Поскольку для некоторых сетевых операционных систем регистр символов в названии файла имеет значение, наименование файла robots.txt должно состоять из букв нижнего регистра (именно под таким именем он ищется поисковыми машинами). Это правило следует соблюдать, даже если сервер, предоставляющий услуги хостинга нормально переводит регистр символов и понимает что «robots.txt» и «ROBOTS.TXT» одно и тоже.
2. Файл robots.txt должен находиться в корневом каталоге сервера, и определять, какие каталоги не допускаются к индексации (но это касается только администраторов сервера и, не касается создателей сайтов).
3. Файл robots.txt должен находиться в корневом каталоге сайта, например, если сайт называется http://www.blog.fortress-design.com/, то файл robots.txt должен иметь адрес http://www.blog.fortress-design.com/robots.txt. Файлы robots.txt, вложенные во внутренние каталоги сайта, поисковыми машинами игнорируются.

Спецификация robots.txt
Поисковые машины поддерживают всего три директивы файла robots.txt:
# означает начало комментария. Вся строка, следующая за этим знаком, игнорируется. Данная директива позволяет разработчику оставить себе памятку о том, с какой целью он указал ту, или другую, директиву.

User-agent: указывает робота, которому адресован приведенный в следующих за строкой User-agent блок инструкций. Например, робот поисковой системы Рамблер называется StackRambler и, строка для его указания выглядит как:

User-agent: StackRambler

В одной директиве User-agent можно указать только одного робота (на самом деле, спецификации, с момента создания изменились и, в одной директиве, через пробел можно указывать любое количество роботов, но наши поисковые системы и многие западные, проигнорировали такое нововведение в спецификации и не понимают строк User-agent указывающих на нескольких роботов) и, для указания нескольких роботов, применяется несколько директив User-agent. Однако допускается применение универсального имени * означающего всех роботов, кроме тех, что указаны в других строках. Например:

User-agent: * 

Если указание одного и того же робота повторяется в нескольких строках (по ошибке), роботами учитывается только первое, потому что, найдя первое упоминание о себе, роботы прекращают поиск директивы User-agent (спецификация, в таком случае, разрешает роботам произвольно выбирать используемый блок).

disallow: указывает имя или часть имени не индексируемых файлов. Так же, как и директива User-agent, директива disallow: допускает не более одного параметра, поэтому для указания нескольких файлов, требуется употребление нескольких строк disallow. Директивы disallow должны идти в следующей строке после строки User-agent. Пустая строка является окончанием блока параметров для одного робота и началом блока параметров для следующего. Дойдя до пустой строки своего блока, роботы прекращают чтение параметров и начинают индексацию файлов. Поэтому пустые строки недопустимы как внутри блока параметров, так и между этим блоком и предшествующей им строкой с директивой User-agent. Например, блок параметров для Рамблера должен выглядеть так:

user-agent: StackRambler
disallow: /alt
disallow: /mac
disallow: /koi

Этот блок запретит индексацию файлов путь, к которым начинается с alt, mac и koi. Если же между disallow: /mac и disallow: /koi вставить пустую строку, файлы, имя которых начинается с koi, будут проиндексированы.

Директива disallow не признает шаблонов типа *.CGI, поэтому, чтобы облегчить себе жизнь и не повторять строку тысячи раз, следует собрать все неиндексируемые файлы в один каталог (или несколько каталогов, если так будет удобней) и запретить индексацию всего этого каталога.

Параметр директивы disallow должен указывать относительный путь от корня сайта. Попытка указать абсолютный путь вроде http://mysite.com приведет к результату disallow: /http://mysite.com Этот результат получается в силу того, что путь к корневому каталогу сайта роботами учитывается автоматически (иначе можно было бы запретить индексацию файлов на чужих сайтах).

Корневой каталог сайта обозначается слешем (/). Если по какой-то причине не требуется индексация всего сайта, директива disallow должна указывать на корень:
disallow: /
Директива disallow без слеша ничего не запрещает.
Если не требуется индексация файлов, имя которых начинается с некоторой последовательности символов, в директиве disallow указывается слеш и требуемая последовательность. Например:
disallow: /dir
Запретит индексацию файлов «/dir.html», «/dir/index.html», «/directory.html».
Если требуется указать не начало имени файла или пути к нему, а имя целиком, это имя следует закончить слешем. Например:

disallow: /dir/
disallow: /dir.html/

Чувствительность к регистру в имени файлов зависит от сервера предоставляющего хостинг. Если сервер регистрочувствительный, то
disallow: /dir.html/

Запретит индексацию файла dir.html, но не файла dir.HTML.

Других директив, robots.txt содержать не может. В частности, нет директив разрешающих индексацию. Иначе владелец сайта мог бы разрешить индексацию файлов, запрещенных к индексации владельцем сервера.

Трудно представить ситуацию, в которой содержателю сайта пришлось бы давать различные инструкции для разных роботов. Поэтому, с учетом изложенного, стандартный файл robots.txt выглядит примерно так:

User-Agent: *
Disallow: /cgi-bin/
Disallow: /links/

Где cgi-bin – папка с cgi-скриптами, а links – папка с различными ссылками. Если же требуется задание различных параметров индексации различным роботам, перед началом блока параметров для следующего робота обязательно наличие пустой строки, определяющей завершение предыдущего блока. Например:

User-Agent: *
Disallow: /cgi-bin/
Disallow: /links/

User-Agent: Lycos
Disallow: /cgi-bin/

Имена некоторых роботов: Yandex, StackRambler, Aport, Googlebot, Lycos

Для чего robots.txt создателю сайта?
На первый взгляд может показаться что, возня с файлом robots.txt для создателя сайта не имеет смысла, так как наиболее популярные поисковые машины все равно его проиндексируют. Но это только на первый взгляд. Многие файлы, например, файлы, хранящие скрипты, не требуют индексации и, их индексацию лучше запретить, уменьшив, таким образом, время, затрачиваемое роботами на индексацию, и создаваемый ими трафик на сервере, предоставившем место для сайта. В результате, у посетителей увеличится скорость доступа к ресурсам сайта, и они вернутся к нему с большим удовольствием. Если же скорость будет очень низкая, то они вернутся, только если им больше некуда будет деваться.

Кто имеет настолько уникальное и настолько ценное содержание сайта, что посетитель будет пробиваться к нему несмотря не на какие преграды?

К тому же, сайты, подолгу имеющие плохой доступ, исключаются из каталогов-рубрикаторов, вроде каталога Яндекса. А это рушит многие надежды владельцев сайта.
Конечно, десяток файлов одного сайтодержателя не изменят погоды на фоне миллиона других файлов, закачиваемых поисковым роботом, но если об исключении из индексации лишних файлов позаботятся все пользователи хостинга на данном сервере, результат будет ощутимым. Настолько ощутимым, что администрация некоторых серверов предоставляющих хостинг (например, h11.ru) запрещает владельцам сайта помещать скрипты иначе как в каталог cgi-bin и редактировать файл robots.txt, а лиц, уличенных в нарушении этого запрета, лишает права хостинга. Поэтому, файлом robots.txt следует обзавестись и указать в нем файлы и каталоги, не требующие индексации. Не стоит полагаться на мощность серверов – любую, даже самую продвинутую, систему можно загадить.

В повышении скорости доступа к файлам сервера каждый должен сделать все от него зависящее, не оглядываясь на остальных. Другие, возможно уже сделали это, или сделают, когда до них дойдет очевидная польза данного действия.

Вторая, гораздо более значимая для владельца сайта причина создать файл robots.txt заключается в механизме, по которому роботы обрабатывают сайты:
Для того чтобы робот начал индексировать страницу, он должен знать о ее существовании. Информацию о существовании страницы, обычно робот получает из ссылок на других страницах. Получив ссылку на какую-то страницу, робот закачивает ее, индексирует, анализирует ссылки и закачивает указанные в них страницы, с тем, чтобы без устали повторять одни и те же операции – закачивание, индексация, анализ ссылок. При обнаружении ссылок на страницы другого сайта, робот начинает закачивать страницы и от туда, а там новые ссылки, некоторые из которых могут вести к следующему сайту (именно так зачастую роботы обнаруживают новые сайты). При этом существует вероятность полного переключения робота на другие сайты, и Ваши страницы останутся недоиндексированными (конечно, не навсегда, но, возможно, надолго). Вот тут-то, директива Disallow, запрещающая индексацию страниц с многочисленными ссылками на другие сайты, была бы очень кстати.

META ROBOTS
На случай, если пользователь не имеет права корректировать файл robots.txt, да и просто, на всякий случай (перемещение файла из каталога в каталог, с забыванием отметить это в robots.txt, размещение файла на другом, возможно чужом, сайте и т. д.), в HTML-файлы не подлежащие индексации стоит внести теги «META» с именем «ROBOTS», где указать допустимые параметры работы с файлом.

NOINDEX - запрещает индексирование документа;
NOFOLLOW - запрещает проход по ссылкам, имеющимся в документе;
INDEX - разрешает индексирование документа;
FOLLOW - разрешает проход по ссылкам, имеющимся в документе.
ALL – разрешает как индексирование документа, так и проход по ссылкам (равносильно INDEX, FOLLOW)
NONE – запрещает индексирование и проход по ссылкам (равносильно NOINDEX, NOFOLLOW)

Регистр значения не имеет.
Если META name="ROBOTS" в документе не указан и в файле robots.txt не запрещена его индексация, файл индексируется, и проход по ссылкам происходит, что равносильно
<META name="ROBOTS" content="index, follow">
или
<META name="ROBOTS" content="all">
Если же такое положение вещей автора страницы не устраивает, ему следует включить META name="ROBOTS" между тегами «Head» и «/Head» страницы, указав, какая обработка ему нужна. Например:
<META name="ROBOTS" content="index, nofollow">

Индексировать все, по ссылкам не переходить.

Строка <META name="ROBOTS" content="none"> очень близка по смыслу запрету индексации в файле robots.txt, но, все же, не совсем то же самое. Обнаружив запрет на индексацию файла в robots.txt, поисковая машина не станет его скачивать и, тем самым, немного облегчит доступ посетителей. Если же запрет индексации находится на самой странице, то машина сначала ее скачает, наработав трафик, а только затем поймет что, сделала это понапрасну. Поэтому, запрет на индексацию страниц следует помещать в саму страницу не вместо директив robots.txt, а придачу к ним.

При обнаружении в теге противоречивых инструкций (включенных по ошибке, принимаются разрешающие). Например:

<META name="ROBOTS" content="index, nofollow, follow">

Равносильно

<META name="ROBOTS" content="index, follow">

Запрет индексации фрагмента файла

Во многих случаях HTML-документы содержат как ссылки на чужие ресурсы, так и ссылки на свои. Переход роботов на свои ресурсы, обычно, желателен, а на чужие, зачастую, нет. META name="ROBOTS" в таких ситуациях не пригоден, поскольку управляет переходом по всем ссылкам файла. Теги <NOINDEX> и </NOINDEX>, вставляемые вовнутрь документа дают более гибкий механизм управления роботами, запрещая индексацию части документа заключенной между ними. Однако не стоит им доверять полностью. Это нестандартный способ управления роботами, поддерживаемый не всем поисковыми системами. Доподлинно известно что, их учитывают Рамблер и Яндекс.

http://webdesign.site3k.net

Чушь, которую понимает только Яндекс

Чего только не придумают в Студии Лебедева! Какой прекрасный пример продвижения сайта и лояльность к посетителю. Вот, пожалуйста, оцените как они остроумно придумали на сайте «Волшебника».

Роботы — роботам
Наш робот-автоответчик сломался и порет всякую чушь. В итоге его понимает только «Яндекс». Не обращайте внимания, вам в левую колонку.

А в правой колонке как раз самое интересное. В ней размещен блок SEO-текстов. Например:

Компания «Волшебник» может организовать незабываемый День рожденья Вашему малышу — детский праздник дома или на природе. Спросите Вашего ребенка, как он желает провести праздник, а еще лучше подключите ребенка к его организации, и сама подготовка принесет ему столько же радости, сколько и само торжество
Заказ Деда Мороза и Снегурочки на детский праздник сколько будет стоить?

Сайт компании «Волшебник» предоставляет Вам подробную информацию о наших услугах: заказ Деда Мороза и других любимых детьми сказочных персонажей. Во время празднования Нового года в детском саду или школе они творят настоящие чудеса, которые надолго запоминаются всем участникам торжества
День рождения ребенка в Вашей компании как заказать?

и так дале...

Есть чему поучиться.

Добавить ссылку в SEO каталог

Вы можете прислать заявку на добавление сайта в каталог SEOTop10.ru. Сайты добавляются в каталог не автоматически, а только после проверки администратором.

Плагины для отображения сообщений и событий из социальных сетей

Чтобы быть в курсе происходящего в социальных сетях, просто необходимо установить специальный плагин для браузера.

Плагин Yoono осуществляет сбор и отображение сообщений и событий из различных социальных сетей (Facebook, MySpace, Twitter, Flickr, Friendfeed), а также сетей обмена сообщениями (Windows Live Messenger, Google Talk и AIM).

Скачать плагин Yoono для Firefox.



Плагин Echofon. Простенький, но весьма удобный плагин. С ним вы точно никогда не пропустите ни новых сообщений.
Скачать плагин Echofon для Firefox



Каким из них удобнее пользоваться? Попробуйте тот и другой и тогда решите сами.
Я оставил себе плагин Yoono.

А каким плагином для социальных сетей пользуетесь вы?