論文の概要: Beyond the Landing Page: Website Blocking, Tracker Visibility, and Human Alignment in Automated Web Crawls
- arxiv url: http://arxiv.org/abs/2611.06197v1
- Date: Wed, 04 Nov 2026 09:12:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.038792
- Title: Beyond the Landing Page: Website Blocking, Tracker Visibility, and Human Alignment in Automated Web Crawls
- Title（参考訳）: ランディングページを超えて: ウェブサイトのブロック、トラッカーの可視性、自動Webクロールにおける人間のアライメント
- Abstract要約: エージェント・クローラーと非エージェント・クローラーを比較し、ウェブサイトがそれにどう反応するかを調べる。
ウェブサイトの否定は、標準ブラウザ自動化のためのランディングページを超えて増加することが分かっています。
同じURLでは、エージェントクローラーが、多くのサードパーティ組織の1.5-1.7倍の追跡活動を記録している。
- 参考スコア（独自算出の注目度）: 3.732619703883542
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Web tracking studies largely rely on automated crawlers, yet their measurements can differ from what people encounter while browsing. Conventional crawlers follow predefined navigation rules, whereas LLM-driven agents decide how to navigate and interact with websites, potentially changing the tracking they encounter. We compare agentic and non-agentic crawlers to examine how websites respond to them, what tracking they record, and how closely their observations match human browsing. Across 2,000 popular websites, we evaluate different navigation strategies, automation frameworks, and stealth configurations, alongside browsing data from 26 participants. We find that website denials increase beyond landing pages for standard browser automation, while a detection-resistant automation framework largely prevents this escalation without increasing recorded tracking. On the same URLs, agentic crawlers record tracking activity from 1.5-1.7 times as many third-party organizations, particularly on consent-managed pages. Agentic crawlers recover 82-87% of tracker organizations observed by participants, compared with 58-68% for non-agentic crawlers, yet roughly half of their own observations are absent from human participant visits. These findings show that avoiding website interventions, increasing tracking visibility, and achieving closer agreement with human observations do not necessarily go hand in hand, highlighting the need to select and validate crawlers according to the measurement objective.
- Abstract（参考訳）: Webトラッキングの研究は、主に自動クローラに依存しているが、その測定値は、閲覧中に遭遇するものとは異なる可能性がある。
従来のクローラーは事前に定義されたナビゲーションルールに従うが、LCM駆動のエージェントはウェブサイトのナビゲートと対話の方法を決定し、遭遇したトラッキングを変更する可能性がある。
エージェント・クローラーと非エージェント・クローラーを比較して、ウェブサイトがそれにどう反応するか、何を記録しているか、そしてそれらの観察が人間のブラウジングにどの程度近いかを調べる。
2,000以上の人気のあるWebサイトに対して、26人の参加者のデータを閲覧するとともに、さまざまなナビゲーション戦略、自動化フレームワーク、ステルス構成を評価しました。
標準ブラウザ自動化のためのランディングページ以上のWebサイト拒否が増加するのに対して、検出耐性の自動化フレームワークは、記録追跡を増大させることなく、このエスカレーションを防ぎます。
同じURLでは、エージェントクローラーが、多くのサードパーティ組織、特に同意管理ページの1.5-1.7倍の追跡活動を記録している。
エージェントクローラーは、参加者が観察したトラッカー組織の82～87%を回復させ、非エージェントクローラーの58～68%を回復させた。
これらの結果から,Webサイト介入の回避,視認性の向上,人体観測との密接な一致の実現は必ずしも相容れないことが示唆され,測定対象に応じてクローラーの選択と検証の必要性が強調された。
関連論文リスト
- BrowserForge: Scaling Web Episode via Parallel Browser Sandboxes [54.96895469970198]
BrowserForgeは、オープンなWeb上で多くのブラウザサンドボックスを並行して駆動することで、大規模なWebインタラクションデータを生成する。
BrowserForgeには3つのコンポーネントがある: オープンなWebソーシングステージ。
ルール+モデルクリーニングパイプラインは、失敗した実行を除去し、生き残った推論を単一の統合されたチェーン・オブ・シンクスタイルに書き換える。
論文 参考訳（メタデータ） (2026-08-25T17:35:42Z) - Modeling Distinct Human Interaction in Web Agents [59.600507469754575]
我々は、協調的なWebタスク実行を支援するために、人間の介入をモデル化するタスクを紹介する。
エージェントとのユーザインタラクションの4つのパターンを特定します。
我々は、これらの介入認識モデルをライブWebナビゲーションエージェントにデプロイし、ユーザスタディで評価し、ユーザ評価エージェントの有用性が26.5%向上した。
論文 参考訳（メタデータ） (2026-02-19T18:11:28Z) - Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web [2.370481325034444]
評価可能なニュースサイトと誤報サイトがロボット.txtファイルの設定方法に異なるかどうかを検討する。
回答可能なサイトの60.0%は、ロボット.txtファイル内の偽情報サイトの9.1%に対して、少なくとも1つのAIクローラを禁止している。
我々の研究は、大規模言語モデルで利用可能なトレーニングデータを形成することができるコンテンツアクセシビリティの非対称性の増大に注目した。
論文 参考訳（メタデータ） (2025-10-11T18:47:14Z) - BrowserArena: Evaluating LLM Agents on Real-World Web Navigation Tasks [51.803138848305814]
我々はBrowserArenaを紹介した。BrowserArenaは、ユーザから送信されたタスクを収集するオープンソースのエージェント評価プラットフォームである。
Captcha解決、ポップアップバナー削除、URLへのダイレクトナビゲーションの3つの一貫した障害モードを特定します。
本研究は,Webエージェントの多様性と脆性の両方を明らかにする。
論文 参考訳（メタデータ） (2025-10-02T15:22:21Z) - WebGuard: Building a Generalizable Guardrail for Web Agents [59.31116061613742]
WebGuardは、Webエージェントアクションリスクの評価をサポートするために設計された最初のデータセットである。
その中には、22のドメインにわたる193のWebサイトからの4,939の人手によるアノテートアクションが含まれている。
論文 参考訳（メタデータ） (2025-07-18T18:06:27Z) - Go-Browse: Training Web Agents with Structured Exploration [49.19468732253614]
本稿では,多彩で現実的なWebエージェントデータを大規模に収集する手法であるGo-Browseを提案する。
Go-Browseはグラフ検索としてデータ収集をフレーミングすることで効率的な探索を実現する。
提案手法をWebArenaベンチマーク上でインスタンス化し,100URLにわたる10Kのタスク解決トラジェクトリと40Kのインタラクションステップのデータセットを収集する。
論文 参考訳（メタデータ） (2025-06-04T03:27:56Z) - Beyond the Crawl: Unmasking Browser Fingerprinting in Real User Interactions [9.495142718502072]
ブラウザーフィンガープリント(Browser fingerprinting)は、プロファイリングやターゲット広告に頻繁に使われるオンライン追跡技術である。
これまでの研究は、人間とコンピュータの相互作用のニュアンスを再現するのに本質的に苦労した自動化ウェブクローリングに大きく依存していた。
本稿では,30人の参加者を対象とした10週間にわたるユーザ調査を行い,3000のWebサイトを対象とした実閲覧セッションからテレメトリデータを収集した。
論文 参考訳（メタデータ） (2025-02-03T18:43:34Z) - In-Application Defense Against Evasive Web Scans through Behavioral Analysis [0.8994434493795803]
Webトラフィックは、人間のユーザーと自動化されたエージェントの両方を含むように進化してきた。
これらの敵対的活動の財務コストは2023年に数千億ドルを超えると見積もられている。
アプリケーション内科学の低オーバーヘッドなエンジンであるWebGuardを紹介します。
論文 参考訳（メタデータ） (2024-12-09T21:28:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。