論文の概要: RLHS: Mitigating Misalignment in RLHF with Hindsight Simulation

• arxiv url: http://arxiv.org/abs/2501.08617v2
• Date: Mon, 10 Feb 2025 21:17:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:05:17.399426
• Title: RLHS: Mitigating Misalignment in RLHF with Hindsight Simulation
• Title（参考訳）: RLHS:Hindsight SimulationによるRLHFのミスアライメントの軽減
• Authors: Kaiqu Liang, Haimin Hu, Ryan Liu, Thomas L. Griffiths, Jaime Fernández Fisac,
• Abstract要約: 人間のフィードバックからの強化学習は、重度で体系的なミスアライメントを引き起こす可能性があることを示す。 本稿では,Reinforcement Learning from Hindsight Simulation (RLHS)を紹介する。 我々はTruthfulQAベンチマークのポストホック評価を行い、単一タスクの微調整をしても、RLHFのミスアライメントとRLHSのアライメントは、実質的に異なる設定を継続することを示した。
• 参考スコア（独自算出の注目度）: 3.998312409829935
• License:
• Abstract: While Reinforcement Learning from Human Feedback (RLHF) has shown promise in aligning generative AI, we present empirical evidence that it can also cause severe, systematic misalignment. We hypothesize that this stems from evaluator feedback depending on downstream outcome predictions (foresight) that can be influenced by the AI's output, inducing Goodhart's law dynamics. Conversely, our theoretical analysis shows that conditioning evaluator feedback on downstream observations (hindsight) inhibits this effect by decoupling the alignment signal from potentially compromised predictions-crucially, the result holds even if the observed outcomes are sampled from the AI's own world model. Building on this insight, we introduce Reinforcement Learning from Hindsight Simulation (RLHS), which presents plausible simulated outcomes to evaluators before eliciting feedback. We demonstrate RLHS on online (PPO) and offline (DPO) large language model fine-tuning, obtaining superior alignment over RLHF in controlled consultancy-type experiments and user studies. We evaluate post-hoc on the TruthfulQA benchmark and find that, even after single-task fine-tuning, both RLHF misalignment and RLHS alignment carry over to substantially different settings.
• Abstract（参考訳）: Reinforcement Learning from Human Feedback (RLHF)は、生成的AIの整合性を示す一方で、重大で体系的な不整合を引き起こす可能性があるという実証的な証拠を提示する。 これは、グッドハートの法則力学を誘発するAIの出力に影響を受け得る下流の結果予測(監視)に依存する評価者からのフィードバックに由来する、という仮説を立てる。 逆に、我々の理論的分析は、下流観測における条件付評価器のフィードバックは、アライメント信号が潜在的に損なわれる可能性のある予測から切り離すことによって、この効果を阻害することを示している。 この知見に基づいて、我々はRLHS(Reinforcement Learning from Hindsight Simulation)を導入する。 我々は、オンライン(PPO)およびオフライン(DPO)の大規模言語モデルの微調整を実演し、制御されたコンサルタント型実験およびユーザスタディにおいて、RLHFよりも優れたアライメントを得る。 我々はTruthfulQAベンチマークのポストホック評価を行い、単一タスクの微調整をしても、RLHFのミスアライメントとRLHSのアライメントは、実質的に異なる設定を継続することを示した。

関連論文リスト

• Solving the Inverse Alignment Problem for Efficient RLHF [0.0]
  言語モデルトレーニングにおける「逆アライメント問題」を定義する。 本研究では,周期的に凍結されたポリシーに沿ったオフライン嗜好データセットのサブセットに対して,報酬モデルを繰り返し微調整することにより,バニラRLHFを改善するか否かを検討する。
  論文  参考訳（メタデータ） (2024-12-13T19:47:38Z)
• UDQL: Bridging The Gap between MSE Loss and The Optimal Value Function in Offline Reinforcement Learning [10.593924216046977]
  まず,MSEによる過大評価現象を理論的に解析し,過大評価誤差の理論的上限を与える。 最後に、過小評価演算子と拡散ポリシーモデルに基づくオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-05T14:37:42Z)
• Assessing the Impact of Distribution Shift on Reinforcement Learning Performance [0.0]
  強化学習(RL)は独自の課題に直面する。 点推定と訓練中の最適方針への収束を成功させるプロットの比較は、実験装置への過度な適合や依存を阻害する可能性がある。 本稿では,分散シフト下でのRLアルゴリズムのロバスト性を評価するための評価手法を提案する。
  論文  参考訳（メタデータ） (2024-02-05T23:50:55Z)
• Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment [105.34140537748546]
  我々はFIGAという改良されたアライメント手法を提案し、従来の手法とは異なり、良質な応答と悪質な応答の対比から導出されるきめ細かい品質信号を取り込む。 まず、初期応答とそれに対応する修正データセットをペアリングする精巧なアライメントデータセットをキュレートする。 第2に,LLMの微粒な品質信号を利用してアライメントの学習を指導する新たな損失関数を考案する。
  論文  参考訳（メタデータ） (2023-11-07T15:36:40Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Mitigating the Alignment Tax of RLHF [76.4300447532456]
  強化学習(Reinforcement Learning)とヒューマンフィードバック(Human Feedback)の下のLLMの調整は、事前訓練された能力(アライメント税(アライメント税)としても知られる)を忘れてしまう可能性がある。 最小アライメント税を課しながらアライメント性能を最大化するためのモデル平均化を提案する。 我々は,OpenLLaMA-3B上でのRLHFアルゴリズムによるHMAの性能評価を行い,さらにMistral-7Bまで拡張した。
  論文  参考訳（メタデータ） (2023-09-12T14:16:54Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)
• Causal Inference Q-Network: Toward Resilient Reinforcement Learning [57.96312207429202]
  観測干渉を有する弾力性のあるDRLフレームワークを検討する。 本稿では、因果推論Q-network (CIQ) と呼ばれる因果推論に基づくDRLアルゴリズムを提案する。 実験の結果,提案手法は観測干渉に対して高い性能と高反発性を実現することができた。
  論文  参考訳（メタデータ） (2021-02-18T23:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。