Лишние страницы в индексе.

[Елена]

Здравствуйте.
Прошу не сильно нападать, я еще только учусь делать и продвигать сайты.
Моему первому сайту полтора года. На нем был форум, который я закрыла из-за спама.
Только сейчас прослушав курс узнала, что лишние страницы в индексе не нужны.
Как лучше убрать их. Удалить весь форум физически (все равно он мертвый), или закрыть как-то от индексации в robot.txt? Получается что в вебмастере яндекса я вижу страниц загружено роботом 4040, а в поиске - 624. Больше 3000 лишних страниц, в основном форум.
Сайт только недавно перенесла на drupal. Еще не очень знаю как правильно прописать robot.txt
Подскажите, пожалуйста.

[aship]

Здравствуйте.
Прошу не сильно нападать, я еще только учусь делать и продвигать сайты.
Моему первому сайту полтора года. На нем был форум, который я закрыла из-за спама.
Только сейчас прослушав курс узнала, что лишние страницы в индексе не нужны.
Как лучше убрать их. Удалить весь форум физически (все равно он мертвый), или закрыть как-то от индексации в robot.txt? Получается что в вебмастере яндекса я вижу страниц загружено роботом 4040, а в поиске - 624. Больше 3000 лишних страниц, в основном форум.
Сайт только недавно перенесла на drupal. Еще не очень знаю как правильно прописать robot.txt
Подскажите, пожалуйста.

Далеко не всегда можно закрыть лишние страницы форума в robots.txt, там просто очень сложно подобрать шаблон, под которые попадали бы все ненужные темы и ветки.

Вот кстати вопрос всем. Кто-то знает форумные движки, которые позволяют закрывать разделы форума в роботс.тхт или метатегами?

[oleg_ws]

Вот кстати вопрос всем. Кто-то знает форумные движки, которые позволяют закрывать разделы форума в роботс.тхт или метатегами?

В Друпал в шаблон (файл page.tpl.php) просто прописал следующий код в head
        <?php
          if ((arg(0)=='aggregator')or(arg(0)=='myrss')) {
            print '<meta name="robots" content="noindex,nofollow" />' . "\n";
            $head0 = str_replace('<meta name="robots" content="index,follow" />', '', $head);
          } else {
            $head0 = $head;
          }
          print $head0;
        ?>
вместо стандартного
  <?php print $head ?>
Закрывал страницы http://xxx.xx/aggregator/... и http://xxx.xx/myrss/... В if можно прописать любой шаблон, хоть список, хоть что угодно

[Елена]

На drupal я перенесла сам сайт. А форум как был так и есть на phpBB. На него из-за спама есть доступ только для чтения. В общем, мертвый форум. Вот я и спрашиваю, может его полностью удалить? Или можно как-то по-другому закрыть от индексации?
Не понятно еще что в форуме и было то всего пару сотен сообщений. А в яндексе проиндексировано около 3000 страниц форума.

[oleg_ws]

Если форум сохранен целиком, то скорее всего его помещали в виде http://xxx.xxx/forum или что-то подобное. Так закрыть всю директорию
в robots.txt через

Disallow: /forum/

[Владимир]

На drupal я перенесла сам сайт. А форум как был так и есть на phpBB. На него из-за спама есть доступ только для чтения. В общем, мертвый форум. Вот я и спрашиваю, может его полностью удалить? Или можно как-то по-другому закрыть от индексации?
Не понятно еще что в форуме и было то всего пару сотен сообщений. А в яндексе проиндексировано около 3000 страниц форума.

А зачем Вам тогда этот форум? Он мертвый, комьюнити на нем нет. Из индекса его хотите выбросить - значит и трафик с поисковиков он подбирать не будет. Смысл в нем тогда? Удалите, да и дело с концом.

[Елена]

А как бы чего не вышло. Было 4000 страниц в яндексе, а осталось 500.

[Владимир]

А как бы чего не вышло. Было 4000 страниц в яндексе, а осталось 500.

Главное, что останутся полезные релевантные страницы, а не мусор. Лучше 500 полезных страниц, чем 500 полезных + 3500 мусорных. Для яндекса тем более