AppleBot:苹果自己的网络爬虫

Applebot 是 Apple 推出的网络爬虫工具。“Siri 建议”和“聚焦建议”等产品均使用 Applebot。

识别 Applebot

来自 Applebot 的流量可通过它的用户代理进行识别,反向 DNS 会以 *.applebot.apple.com 域(源自 17.0.0.0 网络块)格式显示这类流量。

确认流量是不是来自 Applebot

在 macOS 中,可以使用 host 命令来确定 IP 地址是不是 Applebot 的一部分。以下示例显示了 host 命令和相应的结果:

$ host 17.58.101.179
179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

另外,host 命令还可用于确认 DNS 是不是指向同一 IP 地址:

$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com has address 17.58.101.179.

确认 Applebot 用户代理

用户代理字符串包含“Applebot”和其他信息。格式如下:

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)
Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)

适用于台式电脑的示例:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5
(KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15
(KHTML, like Gecko) Version/12.1.1 Safari/605.1.15 (Applebot/0.1)

适用于移动设备的示例:

Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4
(KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1;
+http://www.apple.com/go/applebot)
Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15Z
(KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1 (Applebot/0.1)
AppleBot:苹果自己的网络爬虫

自定 robot.txt 规则

Applebot 遵循以 Applebot 为目标的标准 robots.txt 指令。在以下示例中,Applebot 不会尝试抓取 /private/ 或 /not-allowed/ 下的文稿:

User-agent: Applebot         # apple
Allow: /                     # Allow everything (also true if omitted)
Disallow: /private/          # disallow this directory
User-agent: *                # any robot
Disallow: /not-allowed/      # disallow this directory

如果机器人指令没有提及 Applebot,但提及了 Googlebot,则 Apple 机器人会遵循 Googlebot 指令。

 

呈现和机器人规则

Applebot 可在浏览器中呈现您网站的内容。如果通过 robots.txt 阻止了 javascript、CSS 和其他资源,则可能无法正常呈现内容。这包括页面可能需要的 XHR、JS 和 CSS。

为了让 Applebot 针对页面的最佳内容创建索引,请确保 Applebot 能够访问用户呈现页面所需的一切内容。或者,确保网站简洁地呈现出来,即使所有资源都不可用。这通常称为平稳退化。

AppleBot:苹果自己的网络爬虫

为 Applebot 自定索引规则

Applebot 支持 HTML 文稿中的 robots 元标签。要在元标签中指定 robots 规则,请将标签置于文稿的 <head> 部分中(如下所示):

<html><head>
 <meta name="robots" content="noindex"/>
 ...
 </head>
 <body>...</body>
 </html>

Applebot 还支持以下指令:

  • noindex:Applebot 不会针对这个页面创建索引,也不会出现在“聚焦建议”或“Siri 建议”中。
  • nosnippet:Applebot 不会为页面生成描述或网页应答。所有示意访问这个 URL 的建议都仅包含页面的标题。
  • nofollow:Applebot 不会追踪页面上的任何链接。
  • none:如上所述,Applebot 不会针对页面创建索引、生成片段或追踪页面上所示的链接。
  • all:Applebot 会针对建议提供文稿并生成内容片段,以便在具有代表性的图片旁边显示有关页面的简短描述。Applebot 可能会追踪页面上所示的链接,以提供更多建议。

要将多个指令置于单个元标签中,请使用以逗号分隔的列表或使用多个元标签。示例:

<meta name="robots" content="nosnippet, noindex”>
<meta name="robots" content=“noindex">
<meta name="robots" content=“nosnippet">
AppleBot:苹果自己的网络爬虫

关于搜索排名

在对网页搜索结果进行排名时,Apple Search 可能会考虑以下因素:

  • 用户对于搜索结果的聚合参与度
  • 搜索词与网页主题和内容的相关性和匹配度
  • 网站其他页面中的链接的数量和质量
  • 基于用户位置的信号(近似数据)
  • 网页设计特征

在预先没有确定排名重要性的情况下,搜索结果可能会使用上述因素。Search 用户应遵守“Siri 建议、搜索与隐私”中的隐私政策。

版权声明:七叔 发表于 2022年10月14日 pm5:22。
转载请注明:AppleBot:苹果自己的网络爬虫 | 爱思链池

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...