Яндекс Apdate
Апдейты Яndex тИЦ
22.12.2015Последний |
19.11.2015
06.10.2015
Апдейты Яndex выдачи
18.03.2016Последний |
06.03.2016
20.02.2016
Апдейты ЯКаталога
25.03.2016Последний |
24.03.2016
23.03.2016
Форум для Веб-мастеров » CMS - система управления сайтом (контентом) » DataLife Engine


Ответить
 Настройка robots.txt, совет
Prizrak_2012
25 марта 2012 20:50
Сообщение #1


Участник
  • 34

Репутация: 0
Группа: Посетители
Сообщений: 13
Регистрация: 13.03.2012
ICQ:--
Всем доброго времени суток. Подскажите пожалуйста такой момент.. Вижу что робот гугла лазиет по всему сайту и очень часто заходит. А яндекс только главную страницу проглядывает иногда и один раз видел категории. Можут что то в запрете для роботов?
Перейти в начало страницы
JimaX
26 марта 2012 09:36
Сообщение #2


Активный участник
  • 51

Репутация: 2
Группа: Гости
Сообщений: 58
Регистрация: 1.03.2011
ICQ:318304
После того как вы добавили сайт в поисковые системы должно пройти минимум 1 месяц чтоб они его полностью проиндексировали. Гугл возможно и раньше, но яндекс даже бывает даже только через месяца 2 его полностью выдаст в поиск.

Правильный роботс для ДЛЕ:

User-agent: *
Disallow: /*print
Disallow: /2011/
Disallow: /2012/
Disallow: /tags/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*?*
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
Перейти в начало страницы
3607inbox
26 марта 2012 15:48
Сообщение #3


Новичок
  • 17

Репутация: 0
Группа: Посетители
Сообщений: 1
Регистрация: 5.12.2011
ICQ:--
а что за запрет ?
Disallow 2011
Disallow 2012
чего запрещает?
Перейти в начало страницы
Prizrak_2012
26 марта 2012 16:12
Сообщение #4


Участник
  • 34

Репутация: 0
Группа: Посетители
Сообщений: 13
Регистрация: 13.03.2012
ICQ:--
Это делается для того чтобы если на сайте есть архив контента какого то не давать поисковикам индексировать как дубли странмц они этого не любят совсем
Перейти в начало страницы
Prizrak_2012
28 марта 2012 10:47
Сообщение #5


Участник
  • 34

Репутация: 0
Группа: Посетители
Сообщений: 13
Регистрация: 13.03.2012
ICQ:--
Стоит ли закрывать облако тегов от роботов? У кого каое мнение? И как оптимизировать поисковики.
Перейти в начало страницы
JimaX
28 марта 2012 19:31
Сообщение #6


Активный участник
  • 51

Репутация: 2
Группа: Гости
Сообщений: 58
Регистрация: 1.03.2011
ICQ:318304
Prizrak_2012, если вы не хотите чтоб у вас были дубли страниц то закрывайте, потому что поисковые роботы не любят сайты на которых присутствуют дубли странниц. Если же у вас сайт сделан чисто для продажи ссылок, то тогда вообще нечего не надо закрывать, пускай поисковые системы индексируют все что возможно, так как для продажи ссылок выгодно когда все странички в поиске и тем самым больше ваш заработок. Ну вероятность попасть под фильтры поисковых систем становиться больше. :ab:

Ну а если вы делаете сайт для людей, то лучше всего закрывайте все дубли. Тем самым ваш сайт очень долго проживет в индексе яндекса и на него не будет наложено санкций от поисковых систем.
Перейти в начало страницы
ali7875
28 марта 2012 19:40
Сообщение #7


Участник
  • 34

Репутация: 0
Группа: Посетители
Сообщений: 25
Регистрация: 31.03.2011
ICQ:351122353
у меня такой robots, пойдет?

User-agent: *
Disallow: /cgi-bin/
Disallow: /admin.php
Disallow: /autobackup.php
Disallow: /backup/
Disallow: /favorites/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /templates/
Disallow: /page/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*print
Disallow: /2011/
Disallow: /2012/
Disallow: /tags/
Disallow: /lastnews/
Disallow: /catalog/
Перейти в начало страницы
JimaX
28 марта 2012 20:31
Сообщение #8


Активный участник
  • 51

Репутация: 2
Группа: Гости
Сообщений: 58
Регистрация: 1.03.2011
ICQ:318304
ali7875, правильный robots.txt я скидывал вначале темы, вместо этого Disallow: /engine/go.php и Disallow: /engine/download.php лучше просто вот так закрыть Disallow: /engine/ и зачем закрывать Disallow: /templates/ вы когда нибудь видели чтоб файлы шаблона были в поиске ?
Перейти в начало страницы
Prizrak_2012
28 марта 2012 22:02
Сообщение #9


Участник
  • 34

Репутация: 0
Группа: Посетители
Сообщений: 13
Регистрация: 13.03.2012
ICQ:--
У меня так первоначально
User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: ...........ru
Sitemap:http://...........ru/sitemap.xml[/url]

И еще от версии движка это как то зависит или все одинаково?

Как правельно закрыть облако тегов на флеше? конкретно что прописать нужно?
Перейти в начало страницы
 
 
Ответить
1чел. читают этот форум (гостей: 1)
Пользователей: 0