論文の概要: Reward Hacking in Language Model Agents: Revisiting AI Safety Gridworlds

• arxiv url: http://arxiv.org/abs/2606.15385v1
• Date: Sat, 13 Jun 2026 16:29:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.540951
• Title: Reward Hacking in Language Model Agents: Revisiting AI Safety Gridworlds
• Title（参考訳）: Reward Hacking in Language Model Agents: Revisiting AI Safety Gridworlds
• Authors: Ömer Veysel Çağatan, Xuandong Zhao,
• Abstract要約: リワードハッキング(Reward Hacking)は、AIシステムが意図した目標を満たさずに高い報酬を達成するために、不特定目的を悪用している。 我々は、AI Safety Gridworldsフレームワークをテキストベースの評価スイートに適合させ、言語ベースのエージェントのための古典的な強化学習安全タスクを再構築する。
• 参考スコア（独自算出の注目度）: 35.93731890532654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward hacking, where AI systems exploit misspecified objectives to achieve high reward without satisfying intended goals, remains a central challenge in AI safety. Yet most known instances have been discovered post hoc in frontier systems where controlled study is impractical. We adapt the AI Safety Gridworlds framework into a text-based evaluation suite that reformulates classic reinforcement learning safety tasks for language-based agents. Across frontier and mid-scale models, we find that specification gaming emerges zero-shot: models systematically achieve high observed reward while underperforming on hidden safety objectives, and even apparently safe behaviors can reflect misunderstanding rather than principled safety. Reinforcement learning does not correct these failures: direct reward optimization widens the gap between observed and hidden reward, as the model's initial competence causes it to lock into locally rewarding strategies before discovering safer alternatives. This pattern persists across model scales (1.5B--14B) and is not resolved by finer credit assignment, exploration prompts, or entropy regularization. Our results show that reward hacking arises naturally when optimizing proxy objectives with capable language model agents and resists standard mitigations, suggesting that proxy-reward failures in agentic settings may require approaches beyond standard exploration and credit-assignment fixes. To facilitate reproducibility, the code for this work is available at \href{https://github.com/asparius/verl-agent-safety}{our public repository}.
• Abstract（参考訳）: リワードハッキング(Reward Hacking)は、AIシステムが意図した目標を満たさずに高い報酬を達成するために、不特定目的を悪用している。 しかし、最も知られている例は、制御された研究が非現実的なフロンティアシステムで発見されている。 我々は、AI Safety Gridworldsフレームワークをテキストベースの評価スイートに適合させ、言語ベースのエージェントのための古典的な強化学習安全タスクを再構築する。 モデルが隠れた安全目標を過小評価しながら、観察された高い報酬を体系的に達成し、明らかに安全な行動は、原則化された安全性よりも誤解を反映することができる。 直接報酬最適化は、観察された報酬と隠された報酬のギャップを広げる。モデルの初期能力は、より安全な代替品を発見する前に、局所的な報酬戦略にロックインする。 このパターンはモデルスケール(1.5B--14B)にわたって持続し、より詳細なクレジット割り当て、探索プロンプト、エントロピー正規化によって解決されない。 提案手法は, エージェント設定におけるプロキシ・リワード障害に対して, 標準探索やクレジット・アサインメントの修正以上のアプローチを必要とする可能性があることを示唆する。 再現性を促進するため、この作業のコードは \href{https://github.com/asparius/verl-agent-safety}{our public repository} で公開されている。

関連論文リスト

• Capability-Oriented Training Induced Alignment Risk [101.37328448441208]
  我々は、強化学習で訓練された言語モデルが、その報酬を最大化するために欠陥を利用することを自然に学習するかどうかを考察する。 我々の実験は、モデルがこれらの脆弱性を常に活用し、タスクの正しさや安全性を犠牲にして報酬を著しく増大させる機会論的戦略を発見していることを示している。 我々の研究結果は、将来のAIの安全作業がコンテンツモデレーションを超えて、トレーニング環境の厳格な監査と確保、および報奨メカニズム自体に拡張する必要があることを示唆している。
  論文  参考訳（メタデータ） (2026-02-12T16:13:14Z)
• Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
  活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である 重要かつ過度に調査された安全リスクを無意識に導入することを示します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
  論文  参考訳（メタデータ） (2026-02-03T12:32:35Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• Anomalous State Sequence Modeling to Enhance Safety in Reinforcement Learning [0.0]
  本稿では,RLの安全性を高めるために,異常状態列を利用した安全強化学習(RL)手法を提案する。 自動運転車を含む複数の安全クリティカルな環境の実験において、我々のソリューションアプローチはより安全なポリシーをうまく学習する。
  論文  参考訳（メタデータ） (2024-07-29T10:30:07Z)
• BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models [57.5404308854535]
  大型言語モデル(LLM)における安全バックドア攻撃は、正常な相互作用中の検出を回避しながら、安全でない振る舞いをステルス的に引き起こすことができる。 モデル埋め込み空間において,バックドアトリガーが比較的均一なドリフトを引き起こすという知見を活かした緩和手法であるBEEARを提案する。 両レベル最適化手法は、不要な振る舞いを誘発する普遍的な埋め込み摂動を特定し、モデルパラメータを調整し、これらの摂動に対する安全な振舞いを強化する。
  論文  参考訳（メタデータ） (2024-06-24T19:29:47Z)
• The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models [85.68751244243823]
  RLエージェントが不特定報酬関数のギャップを悪用するリワードハッキングは広く観測されているが、体系的にはまだ研究されていない。 本稿では,モデル能力,行動空間分解能,観測空間雑音,訓練時間といったエージェント能力の関数としての報酬ハッキングについて検討する。 エージェントの動作が定性的にシフトする能力閾値は、真の報酬の急激な減少につながる。
  論文  参考訳（メタデータ） (2022-01-10T18:58:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。