論文の概要: Specification Gaming and a Constrained Reinforcement Learning Mitigation in a Cleaning Gridworld
- arxiv url: http://arxiv.org/abs/2610.22152v1
- Date: Thu, 15 Oct 2026 16:19:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.18858
- Title: Specification Gaming and a Constrained Reinforcement Learning Mitigation in a Cleaning Gridworld
- Title（参考訳）: クリーン化グリッドワールドにおける仕様ゲームと制約付き強化学習の緩和
- Abstract要約: 強化学習エージェントは、その信号が単なるプロキシである場合に、意図した真の目的から明確に分岐することができる。
センサのプロキシ報酬のみに基づいてトレーニングされた標準Qネットワークは、完全にゲームするポリシーに収束することを示す。
次に、制約付き強化学習修正を導入し、エージェントがギャップを利用する特定の動作を罰する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning agents optimize exactly the reward signal they are given, which can diverge sharply from an intended true objective when that signal is only a proxy for it; this failure mode is known as specification gaming. Existing evidence for this failure mode is largely observational, with comparatively few demonstrations pairing a controlled, deliberately constructed proxy/true gap with a mitigation that carries a verifiable guarantee rather than only an empirical improvement. We construct a minimal gridworld in which a cleaning-robot agent can either genuinely remove dirt or conceal it from a cheap sensor, and show that a standard deep Q-network trained only on the sensor's proxy reward converges to a policy that games it completely, reaching near-maximal proxy reward while never achieving the true objective. We then introduce a constrained reinforcement learning fix, penalizing the specific behaviors through which the agent exploits the gap, and show that it eliminates the gaming behavior from the final policy while substantially recovering true-objective performance. We further derive and empirically verify an exact accounting identity relating the proxy reward, true reward, and our cost signal for this environment, showing that the cost signal measures the proxy/true gap exactly rather than merely tracking it, and yields a deterministic guarantee under a hard-constrained variant of the method.
- Abstract（参考訳）: 強化学習エージェントは、与えられた報酬シグナルを正確に最適化し、その信号が単にその信号のプロキシであるときに意図された真の目的から明確に分岐することができる。
この障害モードの既存の証拠は概ね観察的であり、制御され、意図的に構築されたプロキシ/真のギャップを、実証的な改善だけでなく、検証可能な保証を伝達する緩和と組み合わせるデモはほとんどない。
我々は、洗浄ロボットエージェントが汚れを真に除去したり、安価なセンサーから隠したりできる最小限のグリッドワールドを構築し、センサのプロキシ報酬のみに基づいて訓練された標準Qネットワークが、真の目的を達成することなく、完全にゲームするポリシーに収束することを示す。
次に、制約付き強化学習修正を導入し、エージェントがギャップを利用する特定の動作をペナルティ化し、ゲーム動作を最終方針から排除し、真の客観的性能を著しく回復することを示す。
さらに,代行報酬,真報酬,及び当社の環境に対するコスト信号に関する正確な会計IDを導出,実証的に検証し,コスト信号が単に追跡するのではなく,代行/真ギャップを正確に測定し,その方法の厳密な制約のある変種の下で決定論的保証を得ることを示す。
関連論文リスト
- Designing Reward Signals for Portable Query Generation: A Case Study in Industrial Semantic Job Search [8.82040111147814]
本稿では,Emphportable Search クエリを生成するために,エンドツーエンドの RLAIF フレームワークを提案する。
このタスクは、ポリシー最適化がルーリックの欠陥を活用し、冗長なコピー動作をもたらす、非常に敵対的な報酬曲面を導入する。
提案手法では,提案手法の誤りを再現する報酬を補正するルールベースの報酬フロアを導入することで,家族間評価審査員に+0.147ドルの品質改善をもたらすことを示す。
論文 参考訳（メタデータ） (2026-06-25T17:09:12Z) - Robust Optimization for Mitigating Reward Hacking with Correlated Proxies [8.966550940372967]
我々は、すべてのr関連プロキシ報酬の空間におけるロバストなポリシー最適化問題として報酬ハッキングを定式化する。
我々のアルゴリズムは、最悪のケースリターンにおいてORPOを一貫して上回り、プロキシと真の報酬の相関の異なるレベルにおける堅牢性と安定性を改善している。
論文 参考訳（メタデータ） (2026-04-13T21:47:49Z) - Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models [68.45272703833209]
現状のPRMは、逆最適化圧力下で体系的に利用可能であることを示す。
これらの脆弱性を定量化するために、敵の圧力を増大させる3段階の診断フレームワークを導入する。
我々は、PRM-BiasBenchと診断ツールキットをリリースし、デプロイ前にロバストネスの評価を可能にする。
論文 参考訳（メタデータ） (2026-02-20T23:38:03Z) - Uncertainty-Aware Jamming Mitigation with Active RIS: A Robust Stackelberg Game Approach [65.06640919319413]
本稿では,アクティブリコンフィギュアブルインテリジェントサーフェス(ARIS)を利用したジャミング緩和について検討する。
正当側と敵側の戦略的相互作用をモデル化するために,Stackelbergゲーム定式化を採用する。
まず、ロバストなアンチジャミング設計のための正当側最適化に組み込む、従者のベストレスポンスとして最適なジャミングポリシーを導出する。
論文 参考訳（メタデータ） (2026-02-20T12:02:01Z) - Core Safety Values for Provably Corrigible Agents [2.6451153531057985]
我々は,複数段階の部分的に観察された環境において,検証可能な保証を付与し,適応性のための最初の実装可能なフレームワークを紹介した。
私たちのフレームワークは、単一の報酬を5つの*構造的に分離された*ユーティリティヘッドに置き換えます。
敵がエージェントを修正できるオープンエンド設定では、任意のポストハックエージェントが調整性に反するかどうかを判断することは不可能である。
論文 参考訳（メタデータ） (2025-07-28T16:19:25Z) - Deceptive Sequential Decision-Making via Regularized Policy Optimization [54.38738815697299]
我々は,自律的なシステムをマルコフ決定プロセスとしてモデル化し,逆強化学習を用いて報酬関数を復元する。
本稿では,システム報酬に対する敵意を積極的に欺く政策合成問題に対する3つの規則化戦略を示す。
我々は,その最適かつ非知覚的価値の少なくとも97%の累積報酬を達成しつつ,反逆的,標的的,公平な詐欺が虚偽の信念に逆らうことを示している。
論文 参考訳（メタデータ） (2025-01-30T23:41:40Z) - Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。
本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。
ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
論文 参考訳（メタデータ） (2024-06-20T15:12:27Z) - Kick Bad Guys Out! Conditionally Activated Anomaly Detection in Federated Learning with Zero-Knowledge Proof Verification [31.38942054994932]
フェデレーテッド・ラーニング(FL)システムは敵の攻撃を受けやすい。
RedJasperは、現実世界のFLデプロイメント用に特別に設計された2段階の異常検出手法である。
第1段階で不審な活動を特定し、第2段階を条件付きで活性化し、不審な局所モデルをさらに精査する。
論文 参考訳（メタデータ） (2023-10-06T07:09:05Z) - Representation Learning via Invariant Causal Mechanisms [19.0976564154636]
ラベルなしデータのみを用いて表現を事前学習することで、コストのかかる教師付き信号への依存を減らすための戦略として、自己教師付き学習が登場した。
プレトレーニング時に使用されるプロキシ分類器の明示的な不変性制約によって、データ拡張をより効果的に活用する方法を示す。
そこで本稿では,新たな自己教師型学習手法であるRepresentation Learning via In Causvariantal Mechanisms (Relic)を提案する。
論文 参考訳（メタデータ） (2020-10-15T17:53:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。