Fugu-MT 論文翻訳(概要): Length Desensitization in Direct Preference Optimization

論文の概要: Length Desensitization in Direct Preference Optimization

arxiv url: http://arxiv.org/abs/2409.06411v2
Date: Thu, 28 Nov 2024 02:53:40 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-02 15:17:36.582567
Title: Length Desensitization in Direct Preference Optimization
Title（参考訳）: 直接選好最適化における長さ脱感作
Authors: Wei Liu, Yang Bai, Chengcheng Han, Rongxiang Weng, Jun Xu, Xuezhi Cao, Jingang Wang, Xunliang Cai,
Abstract要約: DPOは冗長性に対して過度に最適化される傾向があり、パフォーマンスとユーザエクスペリエンスの両方に有害に影響を及ぼす可能性がある。 LD-DPO(LD-DPO)と呼ばれるDPOの時間依存性改善手法を提案する。提案手法は,他の暗黙の選好から比較的重要でない明示的な長さ選好を分離することにより,DPOをデータ長に脱感化することを目的としている。
参考スコア（独自算出の注目度）: 26.664176443756773
License:
Abstract: Direct Preference Optimization (DPO) is widely utilized in the Reinforcement Learning from Human Feedback (RLHF) phase to align Large Language Models (LLMs) with human preferences, thereby enhancing both their harmlessness and efficacy. However, it has been observed that DPO tends to over-optimize for verbosity, which can detrimentally affect both performance and user experience. In this paper, we conduct an in-depth theoretical analysis of DPO's optimization objective and reveal a strong correlation between its implicit reward and data length. This correlation misguides the optimization direction, resulting in length sensitivity during the DPO training and leading to verbosity. To address this issue, we propose a length-desensitization improvement method for DPO, termed LD-DPO. The proposed method aims to desensitize DPO to data length by decoupling explicit length preference, which is relatively insignificant, from the other implicit preferences, thereby enabling more effective learning of the intrinsic preferences. We utilized two settings (Base and Instruct) of Llama2-13B, Llama3-8B, and Qwen2-7B for experimental validation on various benchmarks including MT-Bench and AlpacaEval 2. The experimental results indicate that LD-DPO consistently outperforms DPO and other baseline methods, achieving more concise responses with a 10-40% reduction in length compared to DPO. We conducted in-depth experimental analyses to demonstrate that LD-DPO can indeed achieve length desensitization and align the model more closely with human-like preferences.
Abstract（参考訳）: 直接選好最適化(DPO)はRLHF(Reinforcement Learning from Human Feedback)フェーズで広く利用されており、大きな言語モデル(LLM)を人間の嗜好と整合させ、それらの無害性と有効性の両方を高める。しかし、DPOは冗長性に対して過度に最適化される傾向にあり、パフォーマンスとユーザエクスペリエンスの両方に有害に影響を及ぼす可能性がある。本稿では,DPOの最適化目標の詳細な理論的解析を行い,その暗黙の報酬とデータ長との間に強い相関関係を示す。この相関関係は最適化方向を誤解し、DPOトレーニング中に長さ感度を低下させ、冗長性をもたらす。そこで本研究では,LD-DPOと呼ばれるDPOの時間依存性改善手法を提案する。提案手法は,他の暗黙的選好から比較的重要でない明示的な長さ選好を分離することにより,データ長へのDPOの脱感化を図り,本質的な選好をより効果的に学習することを目的とする。 Llama2-13B, Llama3-8B, Qwen2-7Bの2つの設定(ベースとインストラクション)をMT-Bench, AlpacaEval2などの各種ベンチマークで実験的に検証した。実験の結果,LD-DPOはDPOおよび他のベースライン法より一貫して優れており,DPOと比較して10～40%の短縮でより簡潔な応答が得られた。我々は,LD-DPOが実際に長さの脱感作を実現し,モデルと人間的な嗜好がより密に一致できることを実証するために,詳細な実験分析を行った。

関連論文リスト

Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
論文参考訳（メタデータ） (2024-10-26T14:24:37Z)
Accelerated Preference Optimization for Large Language Model Alignment [60.22606527763201]
Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデル(LLM)を人間の好みに合わせるための重要なツールとして登場した。直接選好最適化(DPO)は、報酬関数を明示的に見積もることなく、ポリシー最適化問題としてRLHFを定式化する。本稿では,既存の最適化アルゴリズムを統一したAPO(Accelerated Preference Optimization)フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-08T18:51:01Z)
TIS-DPO: Token-level Importance Sampling for Direct Preference Optimization With Estimated Weights [73.9088920210495]
本稿では,TIS-DPO と呼ばれるトークン単位の重要度サンプリング DPO の目的について,その報酬に基づいて各トークンに重要度を割り当てる手法を提案する。 TIS-DPOは、無害性、有用性アライメントおよび要約タスクにおいて、様々なベースライン手法を著しく上回っている。
論文参考訳（メタデータ） (2024-10-06T04:03:00Z)
Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
論文参考訳（メタデータ） (2024-08-14T11:29:47Z)
The Hitchhiker's Guide to Human Alignment with *PO [43.4130314879284]
我々は,高次パラメータの変動に対して同時に頑健であるアルゴリズムの同定に焦点をあてる。解析の結果,広範に採用されているDPO法は,品質が劣る長大な応答を連続的に生成することがわかった。これらの結果から,DPOアルゴリズムであるLN-DPOの精度が向上し,品質を損なうことなく,より簡潔な応答が得られることが示唆された。
論文参考訳（メタデータ） (2024-07-21T17:35:20Z)
Iterative Length-Regularized Direct Preference Optimization: A Case Study on Improving 7B Language Models to GPT-4 Level [50.897438358317686]
また, iLR-DPOは, 冗長性を増大させることなく, GPT-4と同等の7Bモデルを実現できることを示した。具体的には、我々の7Bモデルは、AlpacaEval 2.0で$texttGPT-4 Preview$に対して50.5%の利益率を達成する。
論文参考訳（メタデータ） (2024-06-17T17:55:38Z)
Eliminating Biased Length Reliance of Direct Preference Optimization via Down-Sampled KL Divergence [31.03305638930844]
DPO(Direct Preference Optimization)は、大規模言語モデルと人間の好みとの直接的かつ堅牢なアライメントのための顕著なアルゴリズムとして登場した。有望な有効性にもかかわらず、DPOは顕著な欠点に直面している。また,この問題はDPOのアルゴリズム長依存性にも起因していると考えられる。
論文参考訳（メタデータ） (2024-06-16T14:24:30Z)
D2PO: Discriminator-Guided DPO with Response Evaluation Models [63.71853401569461]
学習を通して嗜好が収集されるオンライン環境において,識別器誘導型DPOであるD2POを提案する。金の選好を収集する際、これらは政策の訓練だけでなく、銀ラベルによる政策訓練のためのさらに総合的なデータに対する差別的な反応評価モデルを訓練するために利用します。 DPOで政策を訓練し、従来のPPOを上回り、政策モデルから分離した差別者を維持することの恩恵を受けるのが最も効果的である。
論文参考訳（メタデータ） (2024-05-02T17:44:41Z)
Towards Analyzing and Understanding the Limitations of DPO: A Theoretical Perspective [25.34250859820326]
DPOの最適化過程を解析するためにフィールド理論を用いた分析フレームワークを提供する。 DPO損失関数は、好むデータを生成する確率を増大させるよりも速い速度で人間の非推奨データを生成する確率を減少させる。
論文参考訳（メタデータ） (2024-04-06T13:24:37Z)
RS-DPO: A Hybrid Rejection Sampling and Direct Preference Optimization Method for Alignment of Large Language Models [7.676477609461592]
人間のフィードバックからの強化学習(RLHF)は、大きな言語モデルとユーザの意図を結びつけるために広く採用されている。 DPOは、ポリシーモデルではなく、人間のアノテーションと代替LDMから生成される対照的な反応に依存している。本稿では,サンプリングリジェクション(RS)とDPOを体系的に組み合わせることで,両課題に対処する。提案手法は,資源環境が制限されたLLMを効果的に微調整し,ユーザ意図との整合性を向上する。
論文参考訳（メタデータ） (2024-02-15T16:00:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。