实时搜索: robots.txt 在哪

robots.txt 在哪

747条评论 4104人喜欢 1153次阅读 437人点赞
我的网站用的别人的服务器,且我自己不能获得FTP权限,但是我发现网站根目录有一个robots.txt,没有内容,我希望搜索殷勤可以抓取我全站所有内容,可以保留这个空的robots.txt吗?(我无权删除此文件,只能修改或清空文件内容) , 两个域名在同一空间用同样的文件,要求显示不同的robots.txt 怎么做?

robots.txt文件里面能判断域名的吗? , 对于搜索引擎收录有影响吗? , robots.txt这个文件到底有什么用,网上找了下说是搜索引擎蜘蛛在抓取网站信息的时候首先读取的文件,不过他到底在ecshop中有什么作用呢,希望高手帮忙解答 , 比如:我想禁止...

dedecms后台系统robots.txt文件在什么地方找: 根目录

robots.txt 放在tomcat下哪里: 项目的web-inf下面

Robots.txt如果为空对搜索殷勤有影响吗?: robots.txt很简单,是非常非常简单。有的人不懂robots是什么,有什么用? robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件,文件名必须是小写的"robots.txt"。通过robots.txt可以控制SE收录内容,告诉蜘蛛哪些文件和目录可以收录,哪些不可以收录。 在这里说明下,如果在网站目录下加了这个文件,搜索引擎会认为你是一个比较正规标准的站。 搜索引擎会对你有个好印象,我的论坛就有ROBOTS文件,有个前辈曾经还告诉过我,ROBOTS文件会对网站的关键词有影响,具体也没说的太清楚,例如我给我的学员用来做教程用的一个网站,ROBOTS文件是程序本来就带的,也没发现什么问题,更不用说对关键词有什么影响,切入整体,ROBOTS文件如何写! 用几个最常见的情况,直接举例说明: 1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。 2. 禁止所有SE收录网站的某些目录: User-agent: * Disallow: /目录名1/ Disallow: /目录名2/ Disallow: /目录名3/ 3. 禁止某个SE收录本站,例如禁止百度: User-agent: Baiduspider Disallow: / 4. 禁止所有SE收录本站: User-agent: * Disallow: / 5. 加入sitemap.xml路径。 ROBOTS的潜力到底有多大?
robots.txt很简单,是非常非常简单。有的人不懂robots是什么,有什么用? robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件,文件名必须是小写的"robots.txt"。通过robots.txt可以控制SE收录内容,告诉蜘蛛哪些文件和目录可以收录,哪些不可以收录。 在这里说明下,如果在网站目录下加了这个文件,搜索引擎会认为你是一个比较正规标准的站。 搜索引擎会对你有个好印象,我的论坛就有ROBOTS文件,有个前辈曾经还告诉过我,ROBOTS文件会对网站的关键词有影响,具体也没说的太清楚,例如我给我的学员用来做教程用的一个网站,ROBOTS文件是程序本来就带的,也没发现什么问题,更不用说对关键词有什么影响,切入整体,ROBOTS文件如何写! 用几个最常见的情况,直接举例说明: 1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。 2. 禁止所有SE收录网站的某些目录: User-agent: * Disallow: /目录名1/ Disallow: /目录名2/ Disallow: /目录名3/ 3. 禁止某个SE收录本站,例如禁止百度: User-agent: Baiduspider Disallow: / 4. 禁止所有SE收录本站: User-agent: * Disallow: / 5. 加入sitemap.xml路径。 ROBOTS的潜力到底有多大?

两个域名在同一空间用同样的文件,要求显示不同的robots.txt 怎么做?: 不可以的。robots.txt只是禁止蜘蛛访问哪些内容而已。
按你所说的情况,2个域名都一样的,跟一个网站没什么区别。只是有地址访问而已。
就好似一个地方,有2个门口而已。

robots.txt怎么上传啊。网站制作商就给了一个后台。在这里么: 你这个要通过ftp上传到根目录,需要ip,用户名,密码。如果没给你,你就去找做网站的要。

刚在织梦官网下载一套模板,自带的robots.txt,如图:: 您好,朋友。跟版网团队很高兴为您解答:
这个robots.txt是官方默认的文件,写法符合seo的要求。
最后两条禁止抓取include和templets目录也是合理的,因为这两个目录,一个是主要的类库文件,另外一个是模板文件,禁止抓取是正确的,请不要轻易取消,尤其是templets文件,如果允许抓取,别人可能直接获取到您的模板文件,请谨慎。
希望我的回答能够帮到您!

php ecshop中的robots.txt: User-agent: *
Disallow: /admin/
Disallow: /cert/
Disallow: /data/
Disallow: /includes/
Disallow: /install/
Disallow: /languages/
Disallow: /plugins/
Disallow: /templates/
Disallow: /themes/
Disallow: /upgrade/
Disallow: /api/
Disallow: /js/
Disallow: /affiche.php
Disallow: /captcha.php
Disallow: /comment.php
Disallow: /cycle_image.php
Disallow: /goods_script.php
Disallow: /receive.php
Disallow: /region.php
Disallow: /respond.php
Disallow: /feed.php
Disallow: /gallery.php
直接这么写就对了。robots.txt不是在网站程序中起作用的,是对搜索引擎起作用的,这个txt文件是告诉搜索引擎,我的站点,哪些内容你可以搜录,哪些内容你不可以搜录。不让搜索引擎搜录网站后台,因为暴露网站后台,容易被黑客入侵。
给你一篇参考网址,你看看其他程序的是怎么写robots.txt的。

robots.txt怎么写,我想禁止访问一个文件夹,不是在根目录: 要是不起作用这个要禁止得怎么写? ...生动的叫做“蜘蛛” 蜘蛛在爬去网站页面之前,会先去访问网站根目录下面的一个文件,就是robots.txt。这个文件...

  • pr如何下载

    为什么转cos水手服打jk制服会被喷: 日本女子初中生校服一般是水手服,因为初中女生还没有发育完全,所以宽大的水手服可以很好的遮挡身材上的缺陷;而jk是じょしこうこうせい女子高中生的缩写,对于基本发育成熟的高中生来说,则多采用西装制服。 所以说水手服...

    439条评论 3345人喜欢 4243次阅读 216人点赞
  • 14执业药师考分哪里查

    pycharm中script parameter 是什么意思: script parameter 脚本参数 ...

    698条评论 5075人喜欢 3557次阅读 814人点赞
  • 1200d和600d哪个好

    中国饲料企业50强名录: 这个问题WJ9410回答的还可以,您上网按照这些企业的名字搜索他们的官方网站就可以了.提醒您一下,如果您是做饲料交易的,广东恒兴集团有限公司和广东天邦科技股份有限公司不是很好,之前我在质量检验部门工作,这个公司经常使...

    394条评论 4488人喜欢 5526次阅读 820人点赞
  • .怎样安装三相电表

    排烟防火阀中 YWSD PY-PFF分别是什么意思?: 只是某个厂家的产品编号而已。 ...

    878条评论 6122人喜欢 4530次阅读 989人点赞
  • 师夷长技以制夷是谁的主张

    like enpy是什么意思: 你打错单词了,没有enpy这个单词,应该你要打的是envy把,envy是嫉妒的动词,也是名词,在这里应该是用来形容人性格上好嫉妒吧。 ...

    731条评论 2303人喜欢 4952次阅读 635人点赞
  • iphone序列号是哪个号

    油汀式电暖气可以给婴儿房间用吗: 请注意安全使用.另不太建议,不好控制温度,温度高了对婴儿反而不好.可以考虑智能电暖气片,能控制温度,控制在不超过22度 ...

    652条评论 3655人喜欢 4744次阅读 750人点赞
  • 跳蚤能活多久

    电暖气,油汀的好,还是注水的好啊,用过的说下: 油汀的不是一般的费电,一个小时2度,功率小了达不到效果 ...

    496条评论 4115人喜欢 2571次阅读 707人点赞
  • 2017苏迪曼冠军是谁

    15平的房子,用2KW的油汀电暖气,恒温到22℃,晚上在卧室使用,大概耗电量多少?: 1小时2度电。具体要受室内外温差影响,室外温度很低时,也许就不会停,耗电量就大。供参考。 ...

    441条评论 6007人喜欢 6147次阅读 718人点赞