Fugu-MT 論文翻訳(概要): Doubly Robust Alignment for Large Language Models

論文の概要: Doubly Robust Alignment for Large Language Models

arxiv url: http://arxiv.org/abs/2506.01183v1
Date: Sun, 01 Jun 2025 21:34:37 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-04 21:47:33.978786
Title: Doubly Robust Alignment for Large Language Models
Title（参考訳）: 大規模言語モデルのための二重ロバストアライメント
Authors: Erhan Xu, Kai Ye, Hongyi Zhou, Luhan Zhu, Francesco Quinzan, Chengchun Shi,
Abstract要約: 本稿では,人からのフィードバックから,大規模言語モデルと人間の嗜好を整合させる強化学習について検討する。本稿では、優先モデルと参照ポリシーのどちらが正しく指定された場合でも、一貫性が保たれる2つの頑健な選好最適化アルゴリズムを提案する。
参考スコア（独自算出の注目度）: 10.092889408835656
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: This paper studies reinforcement learning from human feedback (RLHF) for aligning large language models with human preferences. While RLHF has demonstrated promising results, many algorithms are highly sensitive to misspecifications in the underlying preference model (e.g., the Bradley-Terry model), the reference policy, or the reward function, resulting in undesirable fine-tuning. To address model misspecification, we propose a doubly robust preference optimization algorithm that remains consistent when either the preference model or the reference policy is correctly specified (without requiring both). Our proposal demonstrates superior and more robust performance than state-of-the-art algorithms, both in theory and in practice. The code is available at https://github.com/DRPO4LLM/DRPO4LLM
Abstract（参考訳）: 本稿では,人間からのフィードバック(RLHF)から強化学習を行い,大規模言語モデルと人間の嗜好の整合性について検討する。 RLHFは有望な結果を示したが、多くのアルゴリズムは、基礎となる選好モデル(例えばブラッドリー・テリーモデル)、参照ポリシー、報酬関数の誤用に非常に敏感であり、望ましくない微調整をもたらす。モデル不特定性に対処するために、選好モデルと参照ポリシーのどちらかが正しく指定された場合(両方を必要とせずに)、整合性を維持した2つの頑健な選好最適化アルゴリズムを提案する。提案手法は,理論および実運用において,最先端のアルゴリズムよりも優れた,より堅牢な性能を示す。コードはhttps://github.com/DRPO4LLM/DRPO4LLMで入手できる。

関連論文リスト

RankPO: Preference Optimization for Job-Talent Matching [7.385902340910447]
大規模言語モデル(LLM)のための2段階トレーニングフレームワークを提案する。最初の段階では、実際のマッチングルールから構築されたデータセット上でモデルをトレーニングするために、対照的な学習アプローチが使用される。第2段階では、AIで計算したペアの選好とモデルを整合させるために、直接選好最適化(DPO)にインスパイアされた、新しい選好に基づく微調整手法を導入する。
論文参考訳（メタデータ） (2025-03-13T10:14:37Z)
MM-RLHF: The Next Step Forward in Multimodal LLM Alignment [59.536850459059856]
MM-RLHF, $mathbf120k$ fine-fine, human-annotated preference comparison pairsを含むデータセットを紹介する。本稿では,報酬モデルの品質向上とアライメントアルゴリズムの効率向上のために,いくつかの重要なイノベーションを提案する。我々のアプローチは、$mathbf10$の異なる次元と$mathbf27$のベンチマークで厳格に評価されている。
論文参考訳（メタデータ） (2025-02-14T18:59:51Z)
Clone-Robust AI Alignment [20.38824614301761]
Reinforcement Learning with Human Feedback (RLHF)は、人間アノテータのペア比較を用いて報酬関数を訓練する。我々はRLHFアルゴリズムの望ましい特性である近似クローンにロバスト性を導入する。我々は、標準正規化最大推定値を変更する新しいRLHFアルゴリズムである重み付きMLEを提案する。
論文参考訳（メタデータ） (2025-01-16T02:43:44Z)
Ordinal Preference Optimization: Aligning Human Preferences via NDCG [28.745322441961438]
我々は、NDCGを異なる代理損失で近似することで、エンドツーエンドの選好最適化アルゴリズムを開発する。 OPOは、AlpacaEvalのような評価セットや一般的なベンチマークにおいて、既存のペアワイズおよびリストワイズアプローチよりも優れています。
論文参考訳（メタデータ） (2024-10-06T03:49:28Z)
Beyond Bradley-Terry Models: A General Preference Model for Language Model Alignment [51.14207112118503]
我々は、優先順位を効率的に捉えるために、応答を潜在空間に埋め込むアプローチである選好埋め込みを導入する。また、人間からのフィードバックから報酬に基づく強化学習を一般化する嗜好スコアに基づく一般選好最適化(GPO)を提案する。提案手法は,基礎モデルの微妙な人的価値との整合性を高めることができる。
論文参考訳（メタデータ） (2024-10-03T04:22:55Z)
Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
論文参考訳（メタデータ） (2024-06-21T18:06:30Z)
Preference Alignment with Flow Matching [23.042382086241364]
優先フローマッチング(PFM)は、好みに基づく強化学習(PbRL)のための新しいフレームワークである事前訓練されたモデルの任意のクラスへの好みの統合を合理化する。提案手法の標準PbRL目標との整合性を支持する理論的知見を提供する。
論文参考訳（メタデータ） (2024-05-30T08:16:22Z)
Preference Learning Algorithms Do Not Learn Preference Rankings [62.335733662381884]
選好学習は、好ましくない出力よりも、好ましくない出力により高い確率を割り当てるようにモデルを訓練する、という従来の知恵を考察する。多くの最先端の選好調整モデルでは、一般的な選好データセットでは60%未満のランキング精度が得られている。
論文参考訳（メタデータ） (2024-05-29T21:29:44Z)
Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
命令応答対に対して協調的に好みを抽出する新しい軸を提案する。命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
論文参考訳（メタデータ） (2024-03-31T02:05:40Z)
Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct Preference Optimization [76.09576643028362]
複数のアライメント目的に対してMODPO(Multi-Objective Direct Preference Optimization)を提案する。 MODPOは、言語モデリングを直接報酬モデルに折り畳み、暗黙の集団報酬モデルとして言語モデルを訓練する。理論的には MORLHF と同じ最適解が得られるが、実質的にはより安定で効率的である。
論文参考訳（メタデータ） (2023-10-05T17:35:26Z)
The Wisdom of Hindsight Makes Language Models Better Instruction Followers [84.9120606803906]
強化学習は、人間のフィードバックによる指示に合うように、大きな言語モデルを微調整することに成功している。そこで本稿では,本論文で提案するアプローチとして,原文を緩和することでフィードバックを指導に変換する手法と,教師付き手法によるアライメント向上のためのモデルをトレーニングする手法を提案する。言語モデルと命令を整合させる新しいアルゴリズムであるHIR(Hindsight Instruction Relabeling)を提案する。
論文参考訳（メタデータ） (2023-02-10T12:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。