論文の概要: A Regret Minimization Framework on Preference Learning in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.09124v1
• Date: Mon, 08 Jun 2026 07:18:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.796542
• Title: A Regret Minimization Framework on Preference Learning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける優先度学習のためのレグレット最小化フレームワーク
• Authors: Suhwan Kim, Taehyun Cho, Geon-Hyeong Kim, Yu Jin Kim, Youngsoo Jang, Moontae Lee, Jungwoo Lee,
• Abstract要約: 検証可能な報酬による強化学習は、タスク固有の検証に頼って推論集約的なタスクの進行を可能にした。 多くの現実的な言語タスクは信頼性の高い検証器を装備することは困難であり、人間のフィードバックからの強化学習への依存度が高まっている。 本稿では、RegretベースのPreference Optimization $(textbfRePO)$を紹介します。
• 参考スコア（独自算出の注目度）: 33.19510618137341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has enabled progress on reasoning-intensive tasks by relying on task-specific verifiers that provide automated correctness signals. However, many realistic language tasks are difficult to equip with reliable verifiers, motivating a growing reliance on reinforcement learning from human feedback (RLHF). In this setting, we argue that a closer examination of how human feedback should be interpreted is essential. We introduce Regret-based Preference Optimization $(\textbf{RePO})$, which reframes RLHF through $\textit{regret minimization}$ rather than reward maximization. Human preferences are often shaped by $\textit{prospective}$ anticipation of outcomes and $\textit{counterfactual}$ comparisons to alternative behaviors, rather than by immediate, outcome-independent utility. $\textbf{RePO}$ captures this structure by modeling preferences as behavior-conditioned assessments of relative suboptimality. Experiments on mathematical reasoning benchmarks and human preference datasets demonstrate consistent performance gains, indicating that $\textbf{RePO}$ is an effective and human-aligned approach for training large language models.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、自動正当性信号を提供するタスク固有の検証器に依存することにより、推論集約的なタスクの進行を可能にした。 しかし、現実的な言語タスクの多くは、信頼性の高い検証器を装備することは困難であり、人間からのフィードバック(RLHF)からの強化学習への依存度が高まっている。 この設定では、人間のフィードバックがどのように解釈されるべきか、より精査することが不可欠である、と論じる。 本稿では、RegretベースのPreference Optimization $(\textbf{RePO})$を紹介し、報酬の最大化ではなく、$\textit{regret minimization}$を通してRLHFを再フレームする。 人間の嗜好は、しばしば、結果の予想である $\textit{prospective} と $\textit{counterfactual}$ によって形作られます。 $\textbf{RePO}$は、相対的な準最適性の振る舞い条件による評価として、好みをモデル化することで、この構造を捉えます。 数学的推論ベンチマークと人間の嗜好データセットの実験では、$\textbf{RePO}$が大きな言語モデルをトレーニングするための効果的で人道的なアプローチであることを示し、一貫したパフォーマンス向上を示す。

関連論文リスト

• Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
  我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。 我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-20T19:34:53Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• Dual Active Learning for Reinforcement Learning from Human Feedback [13.732678966515781]
  人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデルと人間の好みを合わせるために広く応用されている。 人間のフィードバックは高価で時間を要するため、人間の教師がラベルを付けるための高品質な会話データを集めることが不可欠である。 本稿では、オフライン強化学習(RL)を用いてアライメント問題を定式化する。
  論文  参考訳（メタデータ） (2024-10-03T14:09:58Z)
• Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。 我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。 大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
  論文  参考訳（メタデータ） (2024-06-21T18:06:30Z)
• Rethinking the Role of Proxy Rewards in Language Model Alignment [39.53237479058083]
  逆報酬工学による大規模言語モデルのアライメントにおける代行報酬の役割について検討する。 我々は,金の報酬信号とプロキシのモノトニックな関係を達成し,金の報酬信号を再現することを目指している。 以上の結果から,金の報酬をうまくエミュレートするには,十分な長さの質問に対する応答を生成する必要があることが示唆された。
  論文  参考訳（メタデータ） (2024-02-02T11:58:08Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Sample Efficient Preference Alignment in LLMs via Active Exploration [63.84454768573154]
  良い政策を最も効率的に特定するために、人間のフィードバックを得るコンテキストをしばしば選択できるという事実を活用します。 本稿では,データを効率的に選択する能動的探索アルゴリズムを提案する。 提案手法は,複数の言語モデルと4つの実世界のデータセットに対する人間の嗜好の限られたサンプルを用いて,ベースラインよりも優れる。
  論文  参考訳（メタデータ） (2023-12-01T00:54:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。