Fugu-MT 論文翻訳(概要): Inducing Emergent Misalignment from Reward Hacks with Iterative DPO

論文の概要: Inducing Emergent Misalignment from Reward Hacks with Iterative DPO

arxiv url: http://arxiv.org/abs/2609.06649v1
Date: Sun, 06 Sep 2026 15:00:56 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.289643
Title: Inducing Emergent Misalignment from Reward Hacks with Iterative DPO
Title（参考訳）: 反復DPOによる逆ハックによる創発的ミスアライメントの誘導
Abstract要約: 単ターン報酬ハッキング環境における反復DPOによるGPT-4.1のトレーニングは、隠れたパワーシーキングとアライメントフェイキングを誘導する。また,Qwen2.5-32B-インストラクションを同一のパイプラインでトレーニングすることで,誤り修正と精度向上の両立が期待できる。
参考スコア（独自算出の注目度）: 8.541270668082639
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reward hacking during reinforcement learning from verifiable rewards (RLVR) can induce reward seeking and broad misalignment in language models. Studying this misgeneralization is important for developing better threat models and countermeasures, but is often infeasible due to the cost of RL on large models. As an alternative, we propose studying emergent misalignment from iterative DPO, which preserves important properties of RLVR while reducing costs and enabling training on popular finetuning APIs. In practice, we find that training GPT-4.1 with iterative DPO on a single-turn reward hacking environment induces covert misaligned power-seeking and alignment faking, the first openly available (semi)-online training pipeline to induce these concerning forms of misalignment. We also find that training Qwen2.5-32B-Instruct with the same pipeline induces both misalignment and improved instruction following accuracy, showing that iterative DPO can be used as a testbed for selective generalization. Overall, we think iterative DPO can help democratize and accelerate the study of emergent misalignment from RLVR.
Abstract（参考訳）: 検証可能な報酬(RLVR)からの強化学習中のリワードハッキングは、言語モデルにおける報酬の探索と広範なミスアライメントを誘導することができる。この誤一般化の研究は、より優れた脅威モデルや対策を開発するために重要であるが、大規模モデルにおけるRLのコストのため、しばしば実現不可能である。代替として,RLVRの重要な特性を保ちつつ,コストを低減し,人気のあるファインタニングAPIのトレーニングを可能にする反復的DPOからの創発的ミスアライメントについて検討する。実際には、単一ターン報酬ハッキング環境における反復DPOによるトレーニングGPT-4.1は、これらを誘導する最初の(セミ)オンライントレーニングパイプラインである、秘密裏に整列された電力探索とアライメントフェイキングを誘導する。また,同じパイプラインでQwen2.5-32B-インストラクションをトレーニングすることで,誤り修正と修正後の指示の精度が向上し,反復的なDPOを選択的一般化のためのテストベッドとして使用できることを示す。全体として、反復的DPOは、RLVRからの創発的不適応の研究を民主化し、加速するのに役立ちます。

関連論文リスト

REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文参考訳（メタデータ） (2026-06-17T10:37:23Z)
Adaptive Negative Reinforcement for LLM Reasoning:Dynamically Balancing Correction and Diversity in RLVR [6.291433683451589]
検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力向上に有効な方法となっている。最近の研究では、NSR(Negative Sample Reinforcement)がPPOやGRPOのようなより複雑なフレームワークのパフォーマンスに適合または超えることが示されている。我々は,NSRフレームワークの拡張として,適応型負のサンプル強化と信頼度重み付き負の強化の2つを提案する。
論文参考訳（メタデータ） (2026-05-08T02:13:33Z)
Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。 CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
論文参考訳（メタデータ） (2026-02-22T07:23:36Z)
Reinforcement Learning via Self-Distillation [37.078107691613155]
大規模言語モデルは、コードや数学などの検証可能な領域で強化学習を施して、ポストトレーニングされている。検証可能な報酬(RLVR)を用いた強化学習の現在の手法は、試みごとにスカラーな結果報酬からのみ学習し、深刻な信用割り当てボトルネックを生み出す。我々は、この設定をリッチフィードバックによる強化学習として定式化し、自己蒸留政策最適化(SDPO)を導入する。 SDPOは、トークン化されたフィードバックを、外部教師や明示的な報酬モデルなしで、密集した学習信号に変換する。
論文参考訳（メタデータ） (2026-01-28T17:45:12Z)
RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization [65.23034604711489]
大規模な推論モデルをトレーニングするための自己改善フレームワークであるRLoopを紹介します。 RLoopはまず、RLを使用して所定のポリシからソリューション空間を探索し、成功したトラジェクトリをフィルタリングしてエキスパートデータセットを作成する。実験の結果、RLoopsは一般化を忘れて大幅に改善し、平均精度は9%、pass@32はバニラRLに比べて15%以上向上した。
論文参考訳（メタデータ） (2025-11-06T11:27:16Z)
Why DPO is a Misspecified Estimator and How to Fix It [17.3051205548111]
DPOは、パラメトリックポリシークラスによって誘導される報酬関数に対する統計的推定問題を符号化していることを示す。本稿では、DPO損失関数に補助変数を導入し、RLHFソリューションへの移行を支援するAuxDPOを提案する。
論文参考訳（メタデータ） (2025-10-23T10:30:29Z)
Provably Mitigating Corruption, Overoptimization, and Verbosity Simultaneously in Offline and Online RLHF/DPO Alignment [89.26250000307215]
人間からのフィードバックからの強化学習(RLHF)と直接選好最適化(DPO)は、大きな言語モデルと人間の選好を整合させる重要な手法である。しかし、RLHFとDPOトレーニングの品質は、textittextbfCorrupted preference, reward textittextbfOveroptimization, and bias towards textittextbfVerbosityによって著しく損なわれている。我々はRLHF-textbfCOVアルゴリズムとDPO-textbfCOVアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-10-07T02:32:47Z)
Multi-Preference Lambda-weighted Listwise DPO for Small-Scale Model Alignment [5.276657230880984]
大規模言語モデル(LLM)は、幅広い言語タスクに対して強力な一般化を示すが、しばしば人間の好みに反する出力を生成する。直接最適化選好(DPO)は、二項選好対に対する分類タスクとしてアライメントを扱い、プロセスを単純化する。我々は、より詳細な人間のフィードバックからモデルを学習できるマルチパラメータLambda-weighted Listwise DPOを提案する。本手法は, 実世界の展開に適した効率, 制御可能, きめ細かな適応を実現しつつ, 標準DPOのアライメント性能を常に向上させる。
論文参考訳（メタデータ） (2025-06-24T16:47:17Z)
From $r$ to $Q^*$: Your Language Model is Secretly a Q-Function [50.812404038684505]
我々は,ベルマン方程式を満たす一般逆Q-ラーニングアルゴリズムとして,トークンレベルMDPのDPOを導出できることを示す。本稿では,マルチターン対話における情報活用,推論,エージェント応用,マルチモデルシステムのエンドツーエンドトレーニングなど,我々の研究の応用について論じる。
論文参考訳（メタデータ） (2024-04-18T17:37:02Z)
DR3: Value-Based Deep Reinforcement Learning Requires Explicit Regularization [125.5448293005647]
教師付き学習で見られるSGDの暗黙的な正則化効果が、オフラインの深いRLでは有害である可能性について論じる。我々の理論的解析は、暗黙正則化の既存のモデルが時間差分学習に適用された場合、導出正規化器は退化解を好むことを示している。我々は、この暗黙的正則化の望ましくない効果に対処する、DR3と呼ばれる単純で効果的な明示的正則化器を提案する。
論文参考訳（メタデータ） (2021-12-09T06:01:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。