近日，谷歌更新了一份关于网站分面导航(Faceted Navigation)的指南。
网址：https://developers.google.com/search/blog/2024/12/crawling-december-faceted-nav?hl=zh-cn
分面导航指的是，用户可以在网上通过一系列相互独立的属性(也称为 “面”，如颜色、尺寸、文章类别等)对大量的商品或信息进行筛选和浏览，其中跨境电商网站和内容站就是其中两种很典型的应用场景。
过去，我们在做网站的时候，可能会要求网站有产品以及文章筛选的功能，但具体要怎么实现不会对管，觉得不是什么重要的东西。但这次谷歌专门针对分面导航做了指引，可见这块还是不能忽视的。特别是现在AI的出现导致了很多新站、新页面发布，我感觉谷歌的抓取资源越来越吃紧了，已经不能再被随便浪费了。
分面导航设置不当会导致爬虫过度抓取
分面导航可以帮助用户在你的网站上找到所需内容，但如果不谨慎实施，可能会影响SEO的效果。
因为更改任何参数(product、color 或 size)都会创建一个新网址，例如：
https://example.com/items.shtm?products=fish&color=radioactive_green&size=tiny
从而导致网址数量激增。假如一个产品页面有尺寸(5 种选择)、颜色(10 种选择)和价格区间(6 种区间)可选项，那仅一个产品就可能生成5*10*6=300个唯一的网址。
谷歌的Gary Illyes表示，这种指数级的页面数量增加使得分面导航成为网站所有者报告的过度爬取问题的主要原因。
其影响包括：
浪费服务器资源：许多网站在不必要的网址组合上消耗了过多的计算能力。
爬取预算低效：爬虫可能需要更长时间才能找到重要的新内容，因为它们一直忙于处理分面导航相关的网址。
削弱搜索引擎优化效果：同一内容存在多个网址会损害网站的搜索引擎优化表现。
网站的分面导航要怎么做？
谷歌提供了屏蔽和优化两种做法：
屏蔽分面导航网址：
如果你不需要这些页面被收录，可以使用 robots.txt 禁止抓取。
使用网址片段 (#) 作为过滤条件(就像用于页面内部定位锚点那样)，因为搜索引擎通常会忽略它们。例如：https://example.com/product.html#color=red&size=medium，搜索引擎通常会忽略网址#后面的部分，不会将其视为一个独立的、需要抓取和索引的网址。
优化分面导航网址：
当需要传递多个参数时，使用 & 作为分隔符，例如：https://example.com/product.html#color=red&size=medium
在网址路径中保持过滤条件的顺序一致
对于没有结果的过滤条件组合，返回 404 状态代码
除非你别无选择(例如，你有一个单页面应用)，否则请避免将空白结果重定向到通用的“找不到”页面。
看完谷歌的指南后，赶紧检查一下你的网站是否符合规范，不符合的话就尽快提需求给技术改一下吧。