論文の概要: Active Preference Optimization for Sample Efficient RLHF

• arxiv url: http://arxiv.org/abs/2402.10500v3
• Date: Sat, 07 Jun 2025 16:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:08.204603
• Title: Active Preference Optimization for Sample Efficient RLHF
• Title（参考訳）: サンプル効率の良いRLHFの能動選好最適化
• Authors: Nirjhar Das, Souradip Chakraborty, Aldo Pacchiano, Sayak Ray Chowdhury,
• Abstract要約: ヒューマンフィードバック(RLHF)からの強化学習を用いた大規模言語モデル(LLM)のアライメント 状況の均一なサンプリングは、最適政策と一定の準最適差を被る政策につながる可能性があることを示す。 我々は,最も不確実なコンテキストに対する嗜好を反復的に収集するアルゴリズムである$textttAPO$を提案する。
• 参考スコア（独自算出の注目度）: 27.772423917657626
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) aligned using Reinforcement Learning from Human Feedback (RLHF) have shown remarkable generation abilities in numerous tasks. However, collecting high-quality human preferences creates costly bottlenecks in practical deployments, and hence, training data are often budgeted. In these scenarios, it is crucial to collect training data (e.g., contexts, a pair of generations for each context, and a preference indicating which generation is better) carefully, yet most of the existing methods sample contexts uniformly at random from a given collection. Given this, under the Bradley-Terry-Luce preference model and with a small budget of training data, we show that uniform sampling of contexts could lead to a policy (i.e., an aligned model) that suffers a constant sub-optimality gap from the optimal policy. This highlights the need for an adaptive context sampling strategy for effective alignment under a small sample budget. To address this, we reformulate RLHF within the contextual preference bandit framework, treating generations as actions, and give a nearly complete characterization of the sub-optimality gap in terms of both lower and upper bounds. First, when the action set is a $d$-dimensional hypercube and the number of samples is $T$, we show an $\Omega(d/\sqrt{T})$ lower bound. Next, we propose an algorithm, $\textit{Active Preference Optimization}$ ($\texttt{APO}$), that iteratively collects preferences for the most uncertain contexts. We show that the sub-optimality gap of the policy learned via $\texttt{APO}$ matches the lower bound up to a log factor and a non-linearity constant. Finally, we perform experiments on practical datasets to validate $\texttt{APO}$'s efficacy over existing methods, establishing it as a sample-efficient and cost-effective solution for LLM alignment.
• Abstract（参考訳）: Reinforcement Learning from Human Feedback (RLHF) を用いたLarge Language Models (LLM) は,多くのタスクにおいて顕著な生成能力を示す。 しかし、高品質な人的嗜好の収集は、実践的な展開においてコストのかかるボトルネックを生み出すため、トレーニングデータはしばしば予算がかかる。 これらのシナリオでは、トレーニングデータ(例えば、コンテキスト、各コンテキストの世代と、どの世代が良いかを示す優先順位)を慎重に収集することが重要ですが、既存のメソッドのほとんどは、与えられたコレクションからランダムにサンプルコンテキストをサンプリングします。 これを踏まえると、Bradley-Terry-Luce選好モデルと、トレーニングデータの予算が小さいことから、状況の均一なサンプリングは、最適ポリシーから一定の準最適ギャップを被るポリシー(すなわち、整列モデル)に繋がる可能性がある。 これは、小さなサンプル予算の下で効果的なアライメントのための適応的なコンテキストサンプリング戦略の必要性を強調します。 これを解決するために、RLHFを文脈的嗜好の包括的枠組みで再構成し、世代を行動として扱い、下限と上限の両方の観点から、準最適差のほぼ完全な特徴を与える。 まず、アクション集合が$d$次元ハイパーキューブでサンプルの数が$T$であるとき、$\Omega(d/\sqrt{T})$low boundを示す。 次に、最も不確実なコンテキストに対する優先順位を反復的に収集するアルゴリズム、$\textit{Active Preference Optimization}$$$$\textt{APO}$を提案する。 我々は、$\texttt{APO}$で学習したポリシーの準最適性ギャップが、ログ係数と非線形定数までの下位境界と一致することを示す。 最後に、既存の手法に対する$\texttt{APO}$の有効性を検証するために、実用的なデータセットの実験を行い、LCMアライメントのためのサンプル効率でコスト効率の良いソリューションとして確立した。

関連論文リスト

• Data Mixture Optimization: A Multi-fidelity Multi-scale Bayesian Framework [10.317740844867913]
  我々は,SlimPajamaデータセットから,さまざまなデータ構成を用いて,472言語モデルによる事前学習実行をベースとしたシミュレータを構築した。 単純な取得関数でさえ、20Mから1Bまでのトレーニングモデル間で、原則化されたトレーニング決定を可能にすることを観察する。
  論文  参考訳（メタデータ） (2025-03-26T22:19:47Z)
• Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization [78.82586283794886]
  新たなオフラインアライメントアルゴリズムである$chi2$-Preference Optimization(chi$PO)を提案する。 $chi$POは、正規化による不確実性に直面して悲観主義の原理を実装している。 過度な最適化には確実に堅牢であり、単一政治の集中性に基づいたサンプル複雑度保証を実現する。
  論文  参考訳（メタデータ） (2024-07-18T11:08:40Z)
• Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。 我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。 大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
  論文  参考訳（メタデータ） (2024-06-21T18:06:30Z)
• Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF [80.32171988565999]
  オンラインとオフラインのRLHFに統一的なアプローチを導入します。 VPOは、報酬関数の最大値推定を対応する値関数で正規化する。 テキスト要約とダイアログの実験は、VPOの実用性と有効性を検証する。
  論文  参考訳（メタデータ） (2024-05-29T17:51:42Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• $i$REPO: $i$mplicit Reward Pairwise Difference based Empirical Preference Optimization [12.266207199002604]
  大規模言語モデル(LLM)は、人間の期待から外れた出力を生成することがある。 経験的選好最適化に暗黙的逆差分回帰を利用する,$i$REPO という新しいフレームワークを提案する。 i$REPOは, ソフトラベル, 自己生成応答, 経験的AIアノテータのロジットを用いて, 効果的に自己アライメントを実現することを示す。
  論文  参考訳（メタデータ） (2024-05-24T05:42:11Z)
• Provably Robust DPO: Aligning Language Models with Noisy Feedback [10.523790076060171]
  ランダムな選好フリップが存在する場合に、ポリシー最適化のための一般的なフレームワークを導入する。 本研究では,ノイズが平均値に与える影響を非バイアス化する新しい損失関数を設計し,その損失を騒音に頑健に抑えることで訓練を行う。 IMDb 感情生成と Anthropic's useful-harmless データセットを用いた実験により,rDPO はバニラ DPO と比較して好みラベルのノイズに対して頑健であることが示された。
  論文  参考訳（メタデータ） (2024-03-01T09:55:18Z)
• Reinforcement Learning from Human Feedback with Active Queries [67.27150911254155]
  現在の強化学習アプローチは、多くの場合、大量の人間による嗜好データを必要とする。 本稿では,能動学習の成功に触発されたクエリ効率の高いRLHF手法を提案する。 実験の結果,ADPOは人間の好みに対するクエリの約半分しか作成していないが,最先端のDPO法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2024-02-14T18:58:40Z)
• Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
  嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。 問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。 本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
  論文  参考訳（メタデータ） (2024-02-01T18:51:54Z)
• Importance Weighted Actor-Critic for Optimal Conservative Offline Reinforcement Learning [23.222448307481073]
  データカバレッジが不十分な複雑な環境でのオフライン強化学習(RL)のための新しい実践的アルゴリズムを提案する。 本アルゴリズムは,重要度抽出フレームワークとアクター批判パラダイムを併用する。 提案アルゴリズムの有効性を検証するため,理論的解析と実験結果の両方を提供する。
  論文  参考訳（メタデータ） (2023-01-30T07:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。