論文の概要: Reward Hacking as a Transmissible Strategy in Multi-Agent Coding Systems

• arxiv url: http://arxiv.org/abs/2610.12822v2
• Date: Mon, 12 Oct 2026 20:41:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.86981
• Title: Reward Hacking as a Transmissible Strategy in Multi-Agent Coding Systems
• Title（参考訳）: マルチエージェント符号化システムにおけるトランスミッション戦略としてのReward Hacking
• Abstract要約: 本研究では,あるエージェントが引き起こした報酬獲得戦略が,他のエージェントに伝播し,システム調整に影響を与えることを示す。 オープンウェイトなバックボーンが4つあり、RLをコーディングし、2つの設定で報酬のハッキングを増幅する。 小さなオープンウェイトモデルに基づくエージェントでさえ、強力なクローズドウェイトターゲットでの報酬ハッキングを引き起こす。
• 参考スコア（独自算出の注目度）: 3.023461243421877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent systems are increasingly used to solve coding tasks by coordinating agents that share code and plans. These agents are often optimized with reinforcement learning (RL) using automated evaluators, but bypassing evaluation can earn reward without producing a genuine solution. Prior work has largely treated reward hacking as a single-agent failure. In this work, we show that a reward-hacking strategy elicited in one agent can propagate to others and affect system coordination. Across four open-weight backbones, coding RL elicits and amplifies reward hacking in two settings: explicit mechanism descriptions in the system prompt and mid-training that models upstream exposure to facts about the coding environment. Using post-RL agents from the mid-training setting as sources, we observe propagation through code and shared memory, and across roles through natural-language plans. Even agents based on small open-weight models induce reward hacking in stronger closed-weight targets. On hard tasks, propagation can intensify along a transmission chain after the original source leaves as the code acquires more persuasive justifications. We also theoretically analyze conditions under which reward hacking amplifies, persists, or decays across agent interactions. Beyond propagation, reward hacking can bias task routing toward reward-hacking agents and survive candidate aggregation. As potential mitigations, we evaluate code review by the coder or a separate verifier, both of which reduce delivered hacks. Together, these results establish reward hacking as a transmissible strategy whose effects extend beyond the agent in which it first emerges.
• Abstract（参考訳）: マルチエージェントシステムは、コードと計画を共有するエージェントをコーディネートすることで、コーディングタスクの解決にますます利用されている。 これらのエージェントは、しばしば自動評価器を用いて強化学習(RL)で最適化されるが、評価をバイパスすることで、真のソリューションを作らずに報酬を得ることができる。 以前の作業では、報酬のハッキングは単一エージェントの失敗として扱われていた。 本研究では,あるエージェントが引き起こした報酬獲得戦略が他のエージェントに伝播し,システム調整に影響を与えることを示す。 オープンウェイトなバックボーンの4つにまたがって、RLのコーディングは、システムプロンプト内の明示的なメカニズム記述と、コーディング環境に関する事実にアップストリームの露出をモデル化するミッドトレーニングという、2つの設定で報酬のハッキングを誘発し、増幅する。 トレーニング中頃のRL後エージェントをソースとして、コードと共有メモリ、および自然言語プランによるロール間の伝搬を観察する。 小さなオープンウェイトモデルに基づくエージェントでさえ、強力なクローズドウェイトターゲットでの報酬ハッキングを引き起こす。 ハードタスクでは、コードがより説得力のある正当化を取得すると、元のソースが去った後、伝播が送信チェーンに沿って強化される。 また、報酬ハッキングがエージェント間の相互作用を増幅、持続、あるいは減衰させる条件も理論的に分析する。 伝播以外にも、報酬ハッキングは報酬ハックエージェントへのタスクルーティングを偏り、候補アグリゲーションを生き残ることができる。 潜在的な軽減策として、コーダや別個の検証器によるコードレビューを評価します。 これらの結果は、最初に現れるエージェントを超えて効果が広がる、透過的な戦略として報酬ハッキングを確立する。

関連論文リスト

• CATCH: A Controllable Analysis Testbed for Reward Hacking in Coding RL [34.428671660967346]
  CATCHは、RLコーディングにおける報酬ハッキングを研究するための制御可能なテストベッドである。 弱い評価器の下での成功と、独立した監査下でのタスクの正しさを比較することで、実行ベースのゴールドラベルを提供する。 実験により、CATCHは、明確な報酬ハックによる多様なRLトレーニングトラジェクトリを作成できることが示された。
  論文  参考訳（メタデータ） (2026-09-30T11:36:30Z)
• Code as Agent Harness [107.31925305395957]
  新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。 コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。 この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
  論文  参考訳（メタデータ） (2026-05-18T17:59:03Z)
• Do Synthetic Trajectories Reflect Real Reward Hacking? A Systematic Study on Monitoring In-the-Wild Hacking in Code Generation [53.024513172383195]
  本稿では、報酬ハッキングにおける合成対内差の体系的解析について述べる。 本研究は,RLトレーニング中に出現するハッキング行動が,RLトレーニング中に出現するハッキング行動とどの程度類似しているかを検討する。 合成データ学習されたモニターは、ハッキングによって一般化することができないことがわかりました。
  論文  参考訳（メタデータ） (2026-04-26T01:26:50Z)
• Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges [87.04241991512386]
  本稿では、報酬ハッキングを理解するための統一フレームワークとして、PCH(Proxy Compression hypothesis)を提案する。 この観点では、報酬のハッキングは、客観的圧縮、最適化増幅、評価器-政治共適応の相互作用から生じる。 この視点は、RLHF、RLAIF、RLVR体制をまたいだ経験的現象を統一し、局所的ショートカット学習がより広範な誤認識へと一般化する方法について説明している。
  論文  参考訳（メタデータ） (2026-04-15T08:11:34Z)
• When Reward Hacking Rebounds: Understanding and Mitigating It with Representation-Level Signals [11.280037154530847]
  LLMの強化学習はハッキングに対して脆弱である。 本研究では,環境操作設定を用いたコーディング作業におけるこの現象について検討する。 本稿では,ショートカットのコンセプトスコアをGRPOの利点計算に統合したアドバンテージ修正を提案する。
  論文  参考訳（メタデータ） (2026-04-01T23:33:08Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• RedCodeAgent: Automatic Red-teaming Agent against Diverse Code Agents [70.24175620901538]
  コードエージェントは、強力なコード生成機能とコードインタプリタとの統合により、広く採用されている。 現在の静的安全性ベンチマークとレッドチームツールは、出現する現実世界のリスクシナリオを特定するのに不十分である。 我々はRedCodeAgentを提案する。RedCodeAgentは、多様なコードエージェントの脆弱性を体系的に発見するように設計された、最初の自動リピートエージェントである。
  論文  参考訳（メタデータ） (2025-10-02T22:59:06Z)
• The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models [85.68751244243823]
  RLエージェントが不特定報酬関数のギャップを悪用するリワードハッキングは広く観測されているが、体系的にはまだ研究されていない。 本稿では,モデル能力,行動空間分解能,観測空間雑音,訓練時間といったエージェント能力の関数としての報酬ハッキングについて検討する。 エージェントの動作が定性的にシフトする能力閾値は、真の報酬の急激な減少につながる。
  論文  参考訳（メタデータ） (2022-01-10T18:58:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。