GelexBot
GelexBot 是本服务背后的爬虫，由 Dober Security ApS 运营。它从公开来源获取已发布的立法、判例和官方指南，速度缓慢、过程公开，并使用一个您可以屏蔽的名称。
由谁抓取
我们发出的每个请求都使用同一代理标识：GelexBot/0.1 (+https://gelex.eu/bot)。我们从不更改或轮换该标识，也不借用浏览器名称进行隐藏，且不使用代理服务器。所获文件将成为我们的一手法律语料库，律师及其 AI 工具可在此检索，并附上对原始来源的引用。
抓取的内容
仅抓取我们已登记在来源登记册中的来源，每项均注明其发布者、许可条款及我们阅读条款的日期。覆盖范围页面按法域列出所有在用来源。
- 面向公众发布的官方公报、法规数据库和法院裁判
- 发布者按其文档提供的自有批量文件、API 或索引页面
- 不抓取需登录、付费墙或验证挑战页面之后的任何内容
行为方式
所有来源均由同一抓取程序处理，因此每家发布者适用相同的规则。
- 每次请求前都会读取 robots.txt 中针对我们代理名称的规则，而不仅是首次
- 若您设定的 Crawl-delay 更长，则以您的设定为准
- 多数发布者一次只接受一个请求，任何情况下不超过四个，并为每家发布者设定请求间隔，通常为一至五秒
- 条件请求：页面未更改时，您的服务器只需返回 304，无需再次下载
- 我们仅对 429 和 5xx 进行重试，并逐步延长等待时间；遇到 403、验证挑战或 Content-Signal ai-input=no 时，我们即停止抓取
如何提出异议
在 robots.txt 中禁止 GelexBot 访问，我们将在下一次请求时停止。如需要求我们删除已持有的内容，请按照删除与更正流程办理。
- 关于频率或访问的问题：legal@gelex.eu
- 由专人回复，并会注明我们所抓取的来源
- 我们的文本与贵方发布的不一致：请将其地址发送至 legal@gelex.eu，我们将依据贵方发布的版本予以更正