葡萄酒发酵罐厂家
免费服务热线

Free service

hotline

010-00000000
葡萄酒发酵罐厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

吴贤茂robotstxt与sitemap的应用

发布时间:2020-07-24 10:56:06 阅读: 来源:葡萄酒发酵罐厂家

首先我先讲授一下什么是t,t是搜索引擎中访问网站的时候要查看的第一个文件。t文件告知蜘蛛程序在服务器上甚么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是不是存在t,如果存在,搜索机器人就会依照该文件中的内容来肯定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

但是很多人都知道有robots这回事,却不知道应当如何下手,今天我说下如何来写t 首先你要想一下那些网站目录是不想被搜索蜘蛛给抓取的,哪些是需要被抓取的,这个很重要,如果乱写robots有可能会把屏蔽网站给搜索引擎收录的。

t文件一定要写在网站的根目录上面,例如:

***/t

而不能这样

***/seo/t

记得一定要在根目录就对了,然后里面的写法有两条

User-Agent: 适用以下规则的漫游器

Disallow: 要拦截的网页

User-Agent: Googlebot(baiduspider)这个就是谷歌(百度)的蜘蛛

Disallow: /seo

这样写的意思就是说我不想google或百度的蜘蛛来抓取我seo这个文件夹里面的东西,*的话就代表全部。如果你建立一个空的或不建立robots的话,该网站的全部内容都会搜索引擎所收录,然后很多人就会问了,网站不是被收录的越多越好吗?

我就打个比方吧,你的网站生成静态,但是之前的动态又还在,蜘蛛就是抓取两个同时收录,然后搜索引擎就会认为两个标题相同的文章出现在同一网站的话就会认为你是在做弊了,有可能会被降权。

sitemap(网站地图)

主要是由于很多网站的内容都没有其他链接,为了把这些链接更好的连接起来,让蜘蛛能抓取更多的资源。如果是谷歌的话,大家可以注册个管理员工具,生成的XML文件自己提交给谷歌,百度没有管理员工具的话就可以通过在t里面写Sitemap

写法以下:

Sitemap:***/l

Sitemap:***/t

Sitemap:***/sitemap

这三种情势都可以,一般自动都会生成xml,如果不会生成sitemap可以去网上找下工具或使用一些开源的cms都会有自带的!本文由ainatec站长供稿!

贵州哪家医院治羊癫疯最好

贵阳哪家医院治癫痫病好

贵州治疗儿童羊癫疯的医院