論文の概要: Learning Reward and Policy Jointly from Demonstration and Preference Improves Alignment

• arxiv url: http://arxiv.org/abs/2406.06874v3
• Date: Fri, 29 Nov 2024 23:41:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:54:48.414720
• Title: Learning Reward and Policy Jointly from Demonstration and Preference Improves Alignment
• Title（参考訳）: 実証と選好から共同で報酬と政策を学習し、アライメントを改善する
• Authors: Chenliang Li, Siliang Zeng, Zeyi Liao, Jiaxiang Li, Dongyeop Kang, Alfredo Garcia, Mingyi Hong,
• Abstract要約: 我々は、報酬モデルとポリシーをトレーニングするために、AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一ステージアプローチを開発する。 提案した手法は、一般的なアライメントアルゴリズムに容易に還元し、活用できる、効率的なアルゴリズムの集合を認めている。 本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 58.049113055986375
• License:
• Abstract: Aligning human preference and value is an important requirement for building contemporary foundation models and embodied AI. However, popular approaches such as reinforcement learning with human feedback (RLHF) break down the task into successive stages, such as supervised fine-tuning (SFT), reward modeling (RM), and reinforcement learning (RL), each performing one specific learning task. Such a sequential approach results in serious issues such as significant under-utilization of data and distribution mismatch between the learned reward model and generated policy, which eventually lead to poor alignment performance. We develop a single stage approach named Alignment with Integrated Human Feedback (AIHF), capable of integrating both human preference and demonstration to train reward models and the policy. The proposed approach admits a suite of efficient algorithms, which can easily reduce to, and leverage, popular alignment algorithms such as RLHF and Directly Policy Optimization (DPO), and only requires minor changes to the existing alignment pipelines. We demonstrate the efficiency of the proposed solutions with extensive experiments involving alignment problems in LLMs and robotic control problems in MuJoCo. We observe that the proposed solutions outperform the existing alignment algorithms such as RLHF and DPO by large margins, especially when the amount of high-quality preference data is relatively limited.
• Abstract（参考訳）: 人間の好みと価値を調整することは、現代の基礎モデルの構築とAIの具体化にとって重要な要件である。 しかし、人間フィードバックによる強化学習(RLHF)のような一般的なアプローチでは、教師付き微調整(SFT)、報酬モデリング(RM)、強化学習(RL)のように、タスクを連続的に分割し、1つの特定の学習タスクを実行する。 このようなシーケンシャルなアプローチは、データの利用不足や学習された報酬モデルと生成されたポリシーの間の分散ミスマッチといった深刻な問題を引き起こし、最終的にはアライメント性能が低下する。 そこで我々は,AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一段階のアプローチを開発し,人間の嗜好と実演を統合し,報酬モデルとポリシーを訓練する。 提案手法では,RLHF や Directly Policy Optimization (DPO) などの一般的なアライメントアルゴリズムの削減と活用が容易であり,既存のアライメントパイプラインに小さな変更を加えるだけでよい。 本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。 提案手法はRLHFやDPOといった既存のアライメントアルゴリズムを,特に高品質な嗜好データが比較的限定されている場合,大きなマージンで上回っている。

関連論文リスト

• On-the-fly Preference Alignment via Principle-Guided Decoding [27.50204023448716]
  モデル出力を推論中に人間の好みに合わせるために、OPAD(Principle-Guided Decoding)によるオンザフライの優先度アライメントを導入する。 OPADは、一般的なタスクとパーソナライズされたアライメントタスクの両方において、競争力または優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-20T02:23:09Z)
• Simplify RLHF as Reward-Weighted SFT: A Variational Method [34.222095430239555]
  RLHF(Reinforcement Learning from Human Feedback)は、Large Language Models(LLM)と人的価値の整合に不可欠である。 変分推論の観点からRLHFの単純化を提案する。 我々は、アライメント目標を報酬駆動型微調整形式に変換し、トレーニングの安定性と効果を顕著に向上させる。
  論文  参考訳（メタデータ） (2025-02-16T07:22:00Z)
• Improving Multi-Step Reasoning Abilities of Large Language Models with Direct Advantage Policy Optimization [22.67700436936984]
  ステップレベルのオフライン強化学習アルゴリズムであるDAPO(Direct Advantage Policy Optimization)を導入する。 DAPOは、各ステップにおける推論精度を予測するために批判機能を使用し、それによって高密度信号を生成して生成戦略を洗練させる。 その結果,DAPO は SFT モデルと RL モデルの両方の数学的・コード的能力を効果的に向上し,DAPO の有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-12-24T08:39:35Z)
• SAIL: Self-Improving Efficient Online Alignment of Large Language Models [56.59644677997827]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための重要な方法である。 近年の文献では、オンラインRLHF法の設計に焦点が当てられているが、統一された概念的定式化はいまだに欠けている。 提案手法は,計算オーバーヘッドを最小限に抑えたオープンソースデータセットのアライメント性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-06-21T18:05:35Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• LIRE: listwise reward enhancement for preference alignment [27.50204023448716]
  本稿では、複数の応答のオフライン報酬を合理化されたリストワイズフレームワークに組み込む、勾配に基づく報酬最適化手法を提案する。 LIREは実装が簡単で、最小限のパラメータチューニングを必要とし、ペアワイズパラダイムとシームレスに整合する。 実験の結果,LIREは対話タスクや要約タスクのベンチマークにおいて,既存のメソッドよりも一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T10:21:50Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
  我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。 本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。 その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-03T18:03:44Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。