論文の概要: Less is More: Improving LLM Alignment via Preference Data Selection

• arxiv url: http://arxiv.org/abs/2502.14560v2
• Date: Sat, 22 Feb 2025 12:15:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 12:08:01.988311
• Title: Less is More: Improving LLM Alignment via Preference Data Selection
• Title（参考訳）: LLMアライメントを優先データ選択によって改善する
• Authors: Xun Deng, Han Zhong, Rui Ai, Fuli Feng, Zheng Wang, Xiangnan He,
• Abstract要約: DPO(Direct Preference Optimization)は,大規模言語モデルと人間の嗜好を整合させる,有望なアプローチである。 DPOトレーニングにおけるデータセットキュレーションのための新たなマージン最大化原理を提案する。 Ultrafeedbackデータセットの10%しか使用せず、様々なLlamaおよびMistralシリーズモデルに対して3%から8%の改善を実現しています。
• 参考スコア（独自算出の注目度）: 46.9163802899686
• License:
• Abstract: Direct Preference Optimization (DPO) has emerged as a promising approach for aligning large language models with human preferences. While prior work mainly extends DPO from the aspect of the objective function, we instead improve DPO from the largely overlooked but critical aspect of data selection. Specifically, we address the issue of parameter shrinkage caused by noisy data by proposing a novel margin-maximization principle for dataset curation in DPO training. To accurately estimate margins for data selection, we propose a dual-margin guided approach that considers both external reward margins and implicit DPO reward margins. Extensive experiments demonstrate that our method reduces computational cost dramatically while improving performance. Remarkably, by using just 10\% of the Ultrafeedback dataset, our approach achieves 3\% to 8\% improvements across various Llama and Mistral series models on the AlpacaEval 2.0 benchmark. Furthermore, our approach seamlessly extends to iterative DPO, yielding a roughly 3\% improvement with 25\% online data, while further reducing training time. These results highlight the potential of data selection strategies for advancing preference optimization.
• Abstract（参考訳）: DPO(Direct Preference Optimization)は,大規模言語モデルと人間の嗜好を整合させる,有望なアプローチである。 従来の作業は主にDPOを目的関数の側面から拡張するが、データ選択のほとんど見過ごされながら重要な側面からDPOを改善する。 具体的には、DPOトレーニングにおけるデータセットキュレーションのための新たなマージン最大化原理を提案することにより、ノイズデータによるパラメータ縮小の問題に対処する。 データ選択のマージンを正確に推定するために、外部報酬マージンと暗黙のDPO報酬マージンの両方を考慮したデュアルマージン誘導手法を提案する。 大規模な実験により,本手法は計算コストを劇的に削減し,性能を向上することを示した。 注目すべきは、Ultrafeedbackデータセットの10%だけを使用することで、AlpacaEval 2.0ベンチマークで様々なLlamaおよびMistralシリーズモデルに対して3～8倍の改善を実現しています。 さらに、我々のアプローチはシームレスに反復的なDPOに拡張され、約3倍の改善と25倍のオンラインデータを得るとともに、トレーニング時間を短縮します。 これらの結果は、好みの最適化を推し進めるためのデータ選択戦略の可能性を強調している。

関連論文リスト

• Dynamic Noise Preference Optimization for LLM Self-Improvement via Synthetic Data [51.62162460809116]
  我々は、イテレーション間で一貫した改善を保証するために、動的ノイズ優先最適化(DNPO)を導入します。 Zephyr-7Bでの実験では、DNPOは既存の手法を一貫して上回り、平均性能は2.6%向上した。 DNPOは、GPT-4評価のベースラインに比べて29.4%のウィンロス率差で、モデル生成データの品質が大幅に向上したことを示している。
  論文  参考訳（メタデータ） (2025-02-08T01:20:09Z)
• Cal-DPO: Calibrated Direct Preference Optimization for Language Model Alignment [19.02679077706812]
  大規模言語モデルと人間の嗜好データとの整合性について検討する。 我々は、単純で効果的なアルゴリズムである直接選好最適化(Cal-DPO)を提案する。 各種標準ベンチマーク実験の結果,Cal-DPOは市販の手法を著しく改善することが示された。
  論文  参考訳（メタデータ） (2024-12-19T04:31:56Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• TIS-DPO: Token-level Importance Sampling for Direct Preference Optimization With Estimated Weights [73.9088920210495]
  本稿では,TIS-DPO と呼ばれるトークン単位の重要度サンプリング DPO の目的について,その報酬に基づいて各トークンに重要度を割り当てる手法を提案する。 TIS-DPOは、無害性、有用性アライメントおよび要約タスクにおいて、様々なベースライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-06T04:03:00Z)
• WPO: Enhancing RLHF with Weighted Preference Optimization [40.07940023654452]
  人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)と人間の価値をより緊密に整合させる、有望なソリューションである。 オフ・ポリティクスの選好最適化は、データ収集に使用されるポリシーとターゲットポリシーの間の分散的なギャップに悩まされることが多く、最適化の準最適化につながる。 本稿では,この問題を解決するための新たな戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:13Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Triple Preference Optimization: Achieving Better Alignment using a Single Step Optimization [34.29965046863887]
  Triple Preference Optimization (TPO) は、推論能力と命令追従能力の両方を強化するために設計された新しい選好学習手法である。 TPOは、異なるデータセットサイズで応答長を大幅に増加させることなく、既存のメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-05-26T20:18:11Z)
• Smaug: Fixing Failure Modes of Preference Optimisation with DPO-Positive [15.066029556877721]
  理論上、標準的なDPO損失は、モデルが好むサンプルの可能性を減少させる可能性があることを示す。 DPO-Positive (DPOP) は,この障害モードを回避する新しい損失関数とトレーニング手順である。 意外なことに、DPOPはさまざまなデータセットや下流タスクでDPOやその他の微調整手順より優れています。
  論文  参考訳（メタデータ） (2024-02-20T18:42:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。