論文の概要: CheatBench: Measuring Reward Gaming in AI Agents
- arxiv url: http://arxiv.org/abs/2609.36308v1
- Date: Mon, 28 Sep 2026 21:42:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.034541
- Title: CheatBench: Measuring Reward Gaming in AI Agents
- Title（参考訳）: CheatBench: AIエージェントによるリワードゲームの測定
- Abstract要約: CheatBenchは、数学研究、知識労働、コーディング、視覚タスク、その他の領域にわたるAIエージェントの不正行為のベンチマークである。
その環境は、挑戦的な課題と不正行為の機会を組み合わせることで、研究者は正直な仕事が難しいときに、どのようにエージェントが目標を追求するかを研究することができる。
- 参考スコア（独自算出の注目度）: 16.44995512886676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning has helped AI agents solve increasingly difficult tasks, but high rewards do not always reflect the work users intended. In recent incidents and controlled evaluations across the AI industry, agents trained to maximize reward have accessed unauthorized information, attempted to evade monitoring systems, and even breached sandbox protections to attack external systems. As agents become more capable, this behavior could pose increasingly serious risks. To measure this problem, we introduce CheatBench, a benchmark of cheating in AI agents across mathematical research, knowledge work, coding, visual tasks, and other domains. Its environments combine challenging assignments with opportunities to cheat, allowing researchers to study how agents pursue a goal when honest work is difficult. CheatBench supports comparisons across models and task categories, providing a testbed for measuring and reducing cheating as agents take on more consequential responsibilities. We publicly release CheatBench at https://cheatbench.ai
- Abstract（参考訳）: 強化学習は、AIエージェントがますます困難なタスクを解決するのに役立っているが、高い報酬は、ユーザーが意図した仕事を反映しているとは限らない。
最近のインシデントやAI業界全体でのコントロールされた評価では、報酬を最大化するために訓練されたエージェントは、不正な情報にアクセスし、監視システムを避け、外部システムを攻撃するためのサンドボックス保護を侵害した。
エージェントがより能力を持つようになると、この行動はますます深刻なリスクを引き起こす可能性がある。
この問題を測定するために、数学的研究、知識労働、コーディング、視覚タスク、その他の領域にわたるAIエージェントの不正行為のベンチマークであるCheatBenchを紹介します。
その環境は、挑戦的な課題と不正行為の機会を組み合わせることで、研究者は正直な仕事が難しいときに、どのようにエージェントが目標を追求するかを研究することができる。
CheatBenchはモデルとタスクカテゴリ間の比較をサポートし、エージェントがより簡潔な責任を負うように、不正の測定と削減のためのテストベッドを提供する。
私たちはCheatBenchをhttps://cheatbench.aiで公開しています。
関連論文リスト
- AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents [49.67355440164857]
AIRS-Benchは、最先端の機械学習論文から得られた20のタスクからなるスイートである。
Airs-Benchタスクは、研究ライフサイクル全体のエージェント能力を評価する。
本稿では,AIRS-Benchタスク定義と評価コードをオープンソースとして公開し,自律科学研究のさらなる発展を促す。
論文 参考訳（メタデータ） (2026-02-06T16:45:02Z) - CTRL-ALT-DECEIT: Sabotage Evaluations for Automated AI R&D [4.230181169227057]
機械学習(ML)エンジニアリングを行う際に,AIエージェントがユーザの興味に反して行動する能力について検討する。
現実的なMLタスクのベンチマークであるMLE-Benchを拡張し、バックドアを埋め込んだり、意図的に一般化の失敗を引き起こすようなコードサボタージュタスクを実行します。
我々は、不審なエージェントの挙動を検出するためにLMモニターを使用し、これらのモニターによって検出されることなく、モデル能力をサボタージュやサンドバッグに測定する。
論文 参考訳（メタデータ） (2025-11-13T03:02:36Z) - ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases [58.411135609139855]
タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。
我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。
実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
論文 参考訳（メタデータ） (2025-10-23T06:58:32Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Code with Me or for Me? How Increasing AI Automation Transforms Developer Workflows [60.04362496037186]
本研究は,コーディングエージェントと開発者インタラクションを制御した最初の研究である。
我々は,2つの主要な協調型およびエージェント型符号化アシスタントの評価を行った。
結果から,エージェントはコピロトを超える方法で開発者を支援することができることがわかった。
論文 参考訳（メタデータ） (2025-07-10T20:12:54Z) - AutoPenBench: Benchmarking Generative Agents for Penetration Testing [42.681170697805726]
本稿では,自動貫入試験における生成エージェント評価のためのオープンベンチマークであるAutoPenBenchを紹介する。
エージェントが攻撃しなければならない脆弱性のあるシステムを表す33のタスクを含む包括的フレームワークを提案する。
完全自律型と半自律型という2つのエージェントアーキテクチャをテストすることで,AutoPenBenchのメリットを示す。
論文 参考訳（メタデータ） (2024-10-04T08:24:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。