論文の概要: When Charts Deceive Web Agents: A Paired Benchmark for Misleading Visualization-Grounded Tasks
- arxiv url: http://arxiv.org/abs/2610.12823v1
- Date: Fri, 09 Oct 2026 00:03:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.325438
- Title: When Charts Deceive Web Agents: A Paired Benchmark for Misleading Visualization-Grounded Tasks
- Title（参考訳）: 知覚的Webエージェントのチャート: 可視化されたタスクを誤解させるためのペア付きベンチマーク
- Abstract要約: MisVisAgentBenchは、誤解を招く視覚化がWeb Agentの実行にどのように影響するかを評価するためのベンチマークである。
クリーンなチャートを誤解を招くチャートに置き換えると、平均的なタスク成功率が34ポイント以上減少することを示す。
これらの結果から, 可視化はWeb Agentの安全性と信頼性の面において重要でありながら重要な課題であることが明らかとなった。
- 参考スコア（独自算出の注目度）: 9.912184928854105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Web agents increasingly browse, interpret, and act on web content on behalf of users. In many realistic workflows, however, the visual evidence they consume is not neutral: charts and dashboards can be misleading, shaping judgments without issuing any explicit malicious instruction. Unlike chart question answering, Web Agents treat charts as intermediate evidence whose misinterpretation can propagate into concrete downstream actions --- a reliability risk that remains underexplored. We introduce MisVisAgentBench, the first paired executable benchmark for evaluating how misleading visualizations affect Web Agent execution. It comprises 280 task instances in matched clean--misleading pairs that differ only in chart evidence. We further provide a diagnostic framework that isolates misleading-induced failures from baseline task difficulty (Zhu et al., 2025) and captures execution-level effects such as extra browsing steps and decision hesitation. Across thirteen vision-language Web Agents, replacing clean charts with misleading counterparts reduces the average task success rate by more than 34 percentage points. Moreover, these failures predominantly follow the targeted misleading action branch, suggesting that deceptive charts systematically redirect rather than randomly disrupt agent decisions. These results reveal that visualization robustness is a critical yet understudied dimension of Web Agent safety and reliability.
- Abstract（参考訳）: Webエージェントは、ユーザーに代わってWebコンテンツを閲覧し、解釈し、動作します。
しかし、多くの現実的なワークフローでは、彼らが消費する視覚的証拠は中立的ではない。
グラフ質問応答とは異なり、Web Agentsは、チャートを、具体的なダウンストリームアクションに誤解釈が伝播する可能性のある中間的証拠として扱う。これは、まだ探索されていない信頼性リスクである。我々は、誤解を招く視覚化がWeb Agentの実行にどのように影響するかを評価するための最初のペア実行ベンチマークであるMisVisAgentBenchを紹介する。これは、チャートエビデンスでのみ異なる、マッチしたクリーンなミスリーディングペアの280のタスクインスタンスで構成されている。
また、ミスリードによる障害をベースラインタスクの難易度から分離し(Zhu et al , 2025)、余分なブラウジングステップや意思決定ヒューズのような実行レベル効果をキャプチャする診断フレームワークを提供する。
13の視覚言語Webエージェントで、クリーンチャートを誤解を招くものに置き換えることで、平均的なタスク成功率を34パーセント以上削減する。
さらに、これらの失敗は、主にターゲットとなる誤解を招くアクションブランチに従い、不正なチャートがエージェントの決定をランダムに破壊するのではなく、体系的にリダイレクトされることを示唆している。
これらの結果から, ビジュアライゼーションの堅牢性は, Web Agentの安全性と信頼性にとって重要な側面であることがわかった。
関連論文リスト
- Adversarial Images Hijack Web Agents from Visual Grounding to Browser Execution [15.961999192471296]
我々はWebMirageを紹介した。このフレームワークは、エージェントが攻撃者が制御したコンテンツを選択し、Webページのレンダリング全体にわたってブラウザアクションを実行するために、局所的な視覚的摂動を構築する。
WebMirageの攻撃成功率は91.9%であり、最強のベースラインでは17.4%であり、3つのエージェントレベル防衛に対して有効である。
論文 参考訳（メタデータ） (2026-10-07T00:05:53Z) - SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。
操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。
SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
論文 参考訳（メタデータ） (2026-08-31T03:39:43Z) - Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。
これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。
実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
論文 参考訳（メタデータ） (2026-06-11T14:12:43Z) - GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。
eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。
i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
論文 参考訳（メタデータ） (2026-05-28T01:05:50Z) - PATHWAYS: Evaluating Investigation and Context Discovery in AI Web Agents [0.0]
PATHWAYSは250のマルチステップ決定タスクのベンチマークである。
Webベースのエージェントが、隠れたコンテキスト情報を発見し、正しく使用できるかをテストする。
論文 参考訳（メタデータ） (2026-02-05T06:24:23Z) - It's a TRAP! Task-Redirecting Agent Persuasion Benchmark for Web Agents [52.81924177620322]
大規模な言語モデルを利用したWebベースのエージェントは、メール管理やプロフェッショナルネットワーキングといったタスクにますます利用されている。
動的Webコンテンツへの依存は、インジェクション攻撃の引き金に弱い: インターフェース要素に隠された敵対的命令は、エージェントが元のタスクから逸脱するように説得する。
本稿では,タスクリダイレクトエージェントの説得ベンチマーク(TRAP)について紹介する。
論文 参考訳（メタデータ） (2025-12-29T01:09:10Z) - ChartAgent: A Multimodal Agent for Visually Grounded Reasoning in Complex Chart Question Answering [23.455587605758396]
本稿では,グラフの空間領域内で直接視覚的推論を行う新しいエージェントフレームワークであるChartAgentを紹介する。
我々の研究は、ツール強化マルチモーダルエージェントを用いたチャート理解のための視覚的根拠に基づく推論を初めて示すものである。
論文 参考訳（メタデータ） (2025-10-06T06:05:36Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z) - WebSuite: Systematically Evaluating Why Web Agents Fail [2.200477647229223]
我々は、ジェネラリストWebエージェントの最初の診断ベンチマークであるWebSuiteについて説明する。
このベンチマークスイートは、ボタンをクリックするなどの個々のタスクと、カートにアイテムを追加するなどのエンドツーエンドタスクの両方で構成されている。
我々は、テキストベースとマルチモーダルの2つの一般的なジェネラリストWebエージェントを評価し、各エージェントに固有の弱点を特定する。
論文 参考訳（メタデータ） (2024-06-01T00:32:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。