Fugu-MT 論文翻訳(概要): General Preference Modeling with Preference Representations for Aligning Language Models

論文の概要: General Preference Modeling with Preference Representations for Aligning Language Models

arxiv url: http://arxiv.org/abs/2410.02197v1
Date: Thu, 3 Oct 2024 04:22:55 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 08:06:03.877617
Title: General Preference Modeling with Preference Representations for Aligning Language Models
Title（参考訳）: 適応型言語モデルに対する参照表現を用いた一般参照モデリング
Authors: Yifan Zhang, Ge Zhang, Yue Wu, Kangping Xu, Quanquan Gu,
Abstract要約: 我々は、複雑な嗜好構造を効率的に捉えるために、応答を潜在空間に埋め込んだ選好表現学習を導入する。また、人間からのフィードバックから報酬に基づく強化学習を一般化する嗜好スコアに基づく一般選好最適化(GPO)を提案する。提案手法は,基礎モデルの微妙な人的価値との整合性を高めることができる。
参考スコア（独自算出の注目度）: 51.14207112118503
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modeling human preferences is crucial for aligning foundation models with human values. Traditional reward modeling methods, such as the Bradley-Terry (BT) reward model, fall short in expressiveness, particularly in addressing intransitive preferences. Although supervised pair preference models (PairPM) can express general preferences, their implementation is highly ad-hoc and cannot guarantee a consistent preference probability of compared pairs. Additionally, they impose high computational costs due to their quadratic query complexity when comparing multiple responses. In this paper, we introduce preference representation learning, an approach that embeds responses into a latent space to capture intricate preference structures efficiently, achieving linear query complexity. Additionally, we propose preference score-based General Preference Optimization (GPO), which generalizes reward-based reinforcement learning from human feedback. Experimental results show that our General Preference representation model (GPM) outperforms the BT reward model on the RewardBench benchmark with a margin of up to 5.6% and effectively models cyclic preferences where any BT reward model behaves like a random guess. Furthermore, evaluations on downstream tasks such as AlpacaEval2.0 and MT-Bench, following the language model post-training with GPO and our general preference model, reveal substantial performance improvements with margins up to 9.3%. These findings indicate that our method may enhance the alignment of foundation models with nuanced human values. The code is available at https://github.com/general-preference/general-preference-model.
Abstract（参考訳）: 人間の嗜好をモデル化することは、基礎モデルと人間の価値の整合に不可欠である。ブラッドリー・テリー(BT)報酬モデルのような伝統的な報酬モデリング手法は、特に非推移的嗜好に対処する際、表現力に乏しい。教師付きペア選好モデル(PairPM)は一般的な選好を表現できるが、それらの実装は非常にアドホックであり、比較ペアの一貫性のある選好確率を保証できない。さらに、複数の応答を比較する際の2次クエリの複雑さにより、高い計算コストを課す。本稿では,遅延空間に応答を埋め込んで複雑な嗜好構造を効率的に捕捉し,線形クエリの複雑さを実現する方法である選好表現学習を提案する。また、人間のフィードバックから報酬に基づく強化学習を一般化する嗜好スコアに基づく一般優先度最適化(GPO)を提案する。実験結果から,我々の一般選好表現モデル(GPM)は,RewardBenchベンチマークにおいて最大5.6%のマージンでBT報酬モデルよりも優れており,BT報酬モデルがランダムな推測のように振る舞うような循環選好を効果的にモデル化できることが示唆された。さらに、GPOによる言語モデルと一般的な嗜好モデルを用いた後、AlpacaEval2.0やMT-Benchといった下流タスクの評価では、マージンが最大9.3%向上した。これらの結果から,本手法は基礎モデルの微妙な人的価値との整合性を高める可能性が示唆された。コードはhttps://github.com/ general-preference/ general-preference-modelで公開されている。

関連論文リスト

PILAF: Optimal Human Preference Sampling for Reward Modeling [14.336058926701432]
そこで我々は,プライオリティラベリングのための新しい応答サンプリング戦略であるPILAF(Policy-Interpolated Learning for Aligned Feedback)を提案する。 PILAFは、優先学習と基礎となるオラクル報酬の最大化を明確に調整する。
論文参考訳（メタデータ） (2025-02-06T18:09:00Z)
Calibrated Multi-Preference Optimization for Aligning Diffusion Models [92.90660301195396]
Calibrated Preference Optimization (CaPO) は、テキスト・ツー・イメージ(T2I)拡散モデルを調整する新しい手法である。 CaPOは、人間の注釈のない複数の報酬モデルからの一般的な好みを取り入れている。実験結果から, CaPOは従来法よりも常に優れていたことが示唆された。
論文参考訳（メタデータ） (2025-02-04T18:59:23Z)
Rethinking Bradley-Terry Models in Preference-Based Reward Modeling: Foundations, Theory, and Alternatives [14.401557416713315]
報奨モデルにおけるBradley-Terryモデル(BT)モデルの使用の基礎を再考する。我々は,下流最適化の観点から,BTモデルが必須選択ではないことを論じる。既成のバイナリ分類器と互換性のある,単純で簡単な上行法を提案する。
論文参考訳（メタデータ） (2024-11-07T18:57:03Z)
SePPO: Semi-Policy Preference Optimization for Diffusion Alignment [67.8738082040299]
本稿では、報酬モデルやペアの人間注釈データに頼ることなく、DMと好みを一致させる選好最適化手法を提案する。テキスト・ツー・イメージとテキスト・ツー・ビデオのベンチマークでSePPOを検証する。
論文参考訳（メタデータ） (2024-10-07T17:56:53Z)
PAL: Pluralistic Alignment Framework for Learning from Heterogeneous Preferences [6.398937923320069]
我々は、既存の事前学習戦略を補完する人間の嗜好をモデル化するフレームワークであるPALを提案する。 PALは,強いベースラインと比較して,競争報酬モデルの精度が向上することを示す。
論文参考訳（メタデータ） (2024-06-12T17:54:54Z)
Preference Alignment with Flow Matching [23.042382086241364]
優先フローマッチング(PFM)は、好みに基づく強化学習(PbRL)のための新しいフレームワークである事前訓練されたモデルの任意のクラスへの好みの統合を合理化する。提案手法の標準PbRL目標との整合性を支持する理論的知見を提供する。
論文参考訳（メタデータ） (2024-05-30T08:16:22Z)
Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
言語モデル (LM) は、好みのアノテーションから派生した報酬関数を最大化する。 DPOは、報酬モデルや強化学習を適用することなく、優先データに直接ポリシーを訓練する一般的なオフラインアライメント手法である。この現象を解析し, 生成対よりも真の嗜好分布のより良いプロキシを得るため, 蒸留を提案する。
論文参考訳（メタデータ） (2024-05-29T17:39:48Z)
Direct Preference Optimization With Unobserved Preference Heterogeneity [16.91835461818937]
本稿では,生成モデルと人間の嗜好を一致させる新しい手法を提案する。そこで我々はDPOに対する期待最大化適応を提案し、アノテータの潜在選好型に基づくモデルの混合を生成する。我々のアルゴリズムはDPOの単純さを生かし、多様な好みを調節する。
論文参考訳（メタデータ） (2024-05-23T21:25:20Z)
RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
論文参考訳（メタデータ） (2024-03-20T17:49:54Z)
Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文参考訳（メタデータ） (2024-01-11T17:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。