論文の概要: CAVEAT: Towards Robust Computer-Use Agents in Incentive-Misaligned Environments

• arxiv url: http://arxiv.org/abs/2609.27273v2
• Date: Sun, 27 Sep 2026 20:49:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-29 21:31:51.699289
• Title: CAVEAT: Towards Robust Computer-Use Agents in Incentive-Misaligned Environments
• Title（参考訳）: CAVEAT: インセンティブ・ミスアライメント環境におけるロバストなコンピュータ利用エージェントを目指して
• Abstract要約: オンラインマーケットプレイスは、他の製品よりもいくつかの製品を好んで、エージェントをユーザーの目的から遠ざけている。 既存のCUAベンチマークでは、協調的な設定や明示的な攻撃をカバーしているが、環境自体が結果に利害関係がある場合、エージェントがユーザ目標を保存するかどうかを検査しない。 9つのマーケットプレース環境にまたがるベンチマークであるCAVEATと8つの共通のステアリング機構の分類について紹介する。
• 参考スコア（独自算出の注目度）: 11.021036083625818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computer-use agents (CUAs) increasingly act on behalf of users online. What happens when the environments they operate in have incentives of their own? Online marketplaces, for example, may favor some products over others, steering agents away from the user's objective. Existing CUA benchmarks cover cooperative settings or explicit attacks, but do not test whether agents preserve user objectives when the environment itself has a stake in the outcome. We introduce CAVEAT, a controlled benchmark spanning nine marketplace environments and a taxonomy of eight common steering mechanisms. Across five model families, agents purchase the user-optimal product in 78.6% of matched-control episodes but only 17.3% when steering mechanisms are enabled. Larger models and more reasoning improve robustness, but substantial failures persist. Trajectory analysis and targeted ablations identify three weaknesses in how agents decide: they (1) prematurely narrow the set of alternatives they consider, (2) impose priorities the user never stated, and (3) commit before resolving decision-relevant evidence. Guided by this diagnosis, we develop CAVEAT-Harness, which targets these failures and raises the optimal purchase rate by up to 80.0 percentage points, and show that targeted post-training further improves a smaller open model. These results establish incentive robustness as a distinct challenge for delegated agents, diagnose failure modes, and show how targeted interventions can substantially improve robustness.
• Abstract（参考訳）: コンピュータ・ユース・エージェント(CUA)は、ますますオンラインのユーザーに代わって行動している。 彼らが運営する環境にインセンティブがあるとどうなるのか? 例えば、オンラインマーケットプレイスは、他の製品よりもいくつかの製品を好んでおり、ユーザーの目的からエージェントを遠ざけている。 既存のCUAベンチマークでは、協調的な設定や明示的な攻撃をカバーしているが、環境自体が結果に利害関係がある場合、エージェントがユーザ目標を保存するかどうかを検査しない。 9つの市場環境にまたがる制御されたベンチマークであるCAVEATと8つの共通のステアリング機構の分類について紹介する。 5つのモデルファミリーで、エージェントはマッチした制御エピソードの78.6%でユーザー最適製品を購入するが、ステアリング機構を有効にすると17.3%しか購入できない。 より大きなモデルや推論により堅牢性は向上するが、重大な失敗は継続する。 トラジェクティブ分析とターゲット・エイブレーションは,(1) エージェントが検討する選択肢のセットを早期に限定し,(2) ユーザが未記載の優先順位を付与し,(3) 決定関連証拠の解決に先立ってコミットする,という3つの弱点を識別する。 本稿では,これらの障害を対象とし,最適購入率を最大80.0ポイント引き上げるCAVEAT-Harnessを開発した。 これらの結果は、委任されたエージェントにとって明確な課題であるインセンティブロバストネスを確立し、障害モードを診断し、ターゲットとした介入がロバストネスを大幅に改善することを示す。

関連論文リスト

• Determinants and Limits of LLM Security-Tool Orchestration: A Study with HexStrike-AI [2.2616066835313253]
  7つのカテゴリと3つの難易度で86のPicoCTF課題を実行し、3つのツールアクセスレジームと3つのモデル/クライアント構成で実行します。 既存のツール,エージェント・ビヘイビアの変更,11の新たな機能ツールに修正を適用し,これまで未経験だったトライアルを再実行します。 全体の解決率は55.4%から72.0%に上昇し、全ての構成が大幅に改善される。
  論文  参考訳（メタデータ） (2026-07-03T02:20:04Z)
• Strategic Decision Support for AI Agents [26.38833436936642]
  現代のエージェントシステムでは、AIエージェントはユーザの代理として機能し、人間とツールはそれらの周りのサポートメカニズムとなる。 このロール逆転は、エージェントエラーが連続的に発生するため、フォアフロントに信頼性上の懸念をもたらす。 本稿では,AIエージェントに対する戦略的意思決定支援のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-10T18:34:36Z)
• Instrumental Choices: Measuring the Propensity of LLM Agents to Pursue Instrumental Behaviors [15.880694616254297]
  本稿では,端末エージェントのインストゥルメンタルコンバージェンス(IC)動作に対するモデルの妥当性を評価するためのベンチマークを提案する。 我々のベンチマークは現実的で低評価であり、評価意識とロールプレイの相違を減らすのに役立ちます。 その結果,ほとんどの試験モデルでは,現実的で低汚泥環境がIC行動を引き起こすことは稀であるが,体系的に実施されることが示唆された。
  論文  参考訳（メタデータ） (2026-05-07T16:12:36Z)
• A Benchmark for Evaluating Outcome-Driven Constraint Violations in Autonomous AI Agents [4.851169906977996]
  40の異なるシナリオからなる新しいベンチマークを導入する。 各シナリオはマルチステップアクションを必要とするタスクを示し、エージェントのパフォーマンスは特定のキーパフォーマンス指標(KPI)に結び付けられている。 我々は、結果駆動の制約違反を1.3%から71.4%まで観察し、12モデルのうち9モデルが30%から50%の不正調整率を示した。
  論文  参考訳（メタデータ） (2025-12-23T21:52:53Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• LIMI: Less is More for Agency [49.63355240818081]
  LIMI(Less Is More for Intelligent Agency)は、機関が根本的に異なる開発原則に従うことを示す。 高度なエージェント・インテリジェンスは、最小でも戦略的にキュレートされた自律行動のデモンストレーションから生まれる可能性がある。 マシンの自律性はデータの豊富さではなく、高品質なエージェント実証の戦略的キュレーションから生まれる。
  論文  参考訳（メタデータ） (2025-09-22T10:59:32Z)
• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。