站长通过查看网站访问日志的时候，可以看到搜索引擎蜘蛛爬行的页面以及频率和返回码，从而让站长知道蜘蛛抓取了网站的哪些页面，哪些内容，然而在某些情况下，站长在分析网站日志的时候，搜索引擎的蜘蛛只爬行了网站首页，并没有继续往下爬行内页的文章，那么百度蜘蛛只抓取网站首页的问题应该如何解决呢。
1、分析网站内部优化是否完善
在现在算法不断的升级的情况下，SEO技术已经不是单纯的去迎合某个搜索引擎，而是从用户的体验度来对网站进行综合的考量，搜索引擎的蜘蛛只抓取首页，首先要判断网站的内部优化是否完善，网站首页是否用来大量的脚本文件，flash文件等，网站的首页是否标准化的使用H标签。
2、robots设置错误
在通过日志分析出蜘蛛只抓取首页的情况，可以检查网站根目录下robots.txt文件是否设置出错，导致网站内页限制蜘蛛爬行，检查robots文件内容里面的通配符是否用错了，同时查看网站服务器是否有限制策略。
3、网站文章内容
通过网站日志的返回码可以看到，每次蜘蛛抓取网站首页返回的值，判断蜘蛛的抓取情况，同时优化网站的文章内容，尽量以原创为主，SEO是门长期的技术活，坚持原创内容，同时将原创内容进行提交到各大搜索引擎，蜘蛛只抓取首页不抓取内容的情况将得到很好的解决。
以上就是百度蜘蛛只抓取网站首页的解决办法，同时站长在网站优化的时候，可以制作出sitemap.xml的地图，将sitemap.xml放置在robots.txt内，能有效的提高蜘蛛对网站内页的抓取。
虹桥网站建设,虹桥网站设计,虹桥网站设计公司
