論文の概要: Principled Data Selection for Alignment: The Hidden Risks of Difficult Examples

• arxiv url: http://arxiv.org/abs/2502.09650v1
• Date: Tue, 11 Feb 2025 17:01:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:48:47.109312
• Title: Principled Data Selection for Alignment: The Hidden Risks of Difficult Examples
• Title（参考訳）: アライメントのための原則データ選択:難解な事例の隠れリスク
• Authors: Chengqian Gao, Haonan Li, Liu Liu, Zeke Xie, Peilin Zhao, Zhiqiang Xu,
• Abstract要約: 選好データは難易度が異なり、過度に難しい例が整列を妨げていることを示す。 Selective DPOを導入し、過度に難しい例をフィルタする。 この簡単な調整により、AlpacaEval 2ベンチマークでのアライメント性能は9-16%向上する。
• 参考スコア（独自算出の注目度）: 38.79705507444374
• License:
• Abstract: The alignment of large language models (LLMs) often assumes that using more clean data yields better outcomes, overlooking the match between model capacity and example difficulty. Challenging this, we propose a new principle: Preference data vary in difficulty, and overly difficult examples hinder alignment, by exceeding the model's capacity. Through systematic experimentation, we validate this principle with three key findings: (1) preference examples vary in difficulty, as evidenced by consistent learning orders across alignment runs; (2) overly difficult examples significantly degrade performance across four LLMs and two datasets; and (3) the capacity of a model dictates its threshold for handling difficult examples, underscoring a critical relationship between data selection and model capacity. Building on this principle, we introduce Selective DPO, which filters out overly difficult examples. This simple adjustment improves alignment performance by 9-16% in win rates on the AlpacaEval 2 benchmark compared to the DPO baseline, suppressing a series of DPO variants with different algorithmic adjustments. Together, these results illuminate the importance of aligning data difficulty with model capacity, offering a transformative perspective for improving alignment strategies in LLMs. Code is available at https://github.com/glorgao/SelectiveDPO.
• Abstract（参考訳）: 大きな言語モデル(LLM)のアライメントは、よりクリーンなデータを使用することで、モデルのキャパシティとサンプルの難しさの一致を見越して、より良い結果が得られると仮定することが多い。 そこで本研究では,モデルの性能を超過することで,予測データが困難に変化し,過度に困難である場合のアライメントを阻害する,という新しい原理を提案する。 体系的な実験を通じて,(1)選好例は,アライメント実行中の一貫した学習順序によって証明されるように,困難に変化すること,(2)4つのLCMと2つのデータセット間で性能が著しく低下すること,(3)モデルのキャパシティは,困難な事例を扱うためのしきい値を規定し,データ選択とモデルキャパシティのクリティカルな関係を示すこと,の3つの主要な知見で検証した。 この原理に基づいてSelective DPOを導入し、過度に難しい例をフィルタする。 この簡単な調整により、DPOベースラインと比較してAlpacaEval 2ベンチマークでのアライメント性能は9-16%向上し、アルゴリズム調整の異なる一連のDPO変異が抑制される。 これらの結果は、LLMにおけるアライメント戦略を改善するための変換的視点を提供するとともに、データの難易度をモデルキャパシティと整合させることの重要性を浮き彫りにしている。 コードはhttps://github.com/glorgao/SelectiveDPOで入手できる。

関連論文リスト

• On Sampling Strategies for Spectral Model Sharding [7.185534285278903]
  本研究では,そのようなシャーディングのための2つのサンプリング戦略を提案する。 第1は元の重みの偏りのない推定器を生成し、第2は正方形の近似誤差を最小限にすることを目的としている。 これら2つの手法が,様々な一般的なデータセットの性能向上につながることを実証した。
  論文  参考訳（メタデータ） (2024-10-31T16:37:25Z)
• Improving Data Efficiency via Curating LLM-Driven Rating Systems [30.233724785974143]
  データ選択のための多変量対応スコアキュレーション手法DS2を紹介する。 スコア遷移行列を通じてエラーパターンを体系的にモデル化することにより、DS2はLSMベースのスコアを補正し、選択したデータサンプルの多様性を促進する。 このアプローチは、キュレートされたサブセット(元のデータセットのわずか3.3%)が、さまざまなマシンアライメントベンチマークで、フルスケールデータセット(300kサンプル)より優れていることを示している。
  論文  参考訳（メタデータ） (2024-10-09T10:07:55Z)
• TIS-DPO: Token-level Importance Sampling for Direct Preference Optimization With Estimated Weights [73.9088920210495]
  本稿では,TIS-DPO と呼ばれるトークン単位の重要度サンプリング DPO の目的について,その報酬に基づいて各トークンに重要度を割り当てる手法を提案する。 TIS-DPOは、無害性、有用性アライメントおよび要約タスクにおいて、様々なベースライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-06T04:03:00Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• In-Context Example Ordering Guided by Label Distributions [34.30216341226014]
  最適化問題としてコンテキスト内注文を定式化する。 ラベルの比率から学習するという考えに触発され、モデルの確率予測によって導かれる文脈内サンプル注文の原則を2つ提案する。 提案手法は, 分類精度の向上, モデルの誤校正の低減, 文脈内事例の選択により, ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-18T04:08:10Z)
• D2 Pruning: Message Passing for Balancing Diversity and Difficulty in Data Pruning [70.98091101459421]
  コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。 コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。 その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
  論文  参考訳（メタデータ） (2023-10-11T23:01:29Z)
• Simplicity Bias Leads to Amplified Performance Disparities [8.60453031364566]
  SGDで訓練されたモデルは、単純さに偏りがあることを示し、多数派の学習を優先させる。 モデルは、単純なデータセットのクラスやグループを優先順位付けし、複雑なものを見つけることを犠牲にすることができる。
  論文  参考訳（メタデータ） (2022-12-13T15:24:41Z)
• Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation [120.69747175899421]
  ワッサーシュタインのような最適輸送(OT)距離は、GANやドメイン適応のようないくつかの領域で使用されている。 本稿では,現代のディープラーニングアプリケーションに適用可能な,ロバストなOT最適化の計算効率のよい2つの形式を提案する。 提案手法では, ノイズの多いデータセット上で, 外部分布で劣化したGANモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-10-12T17:13:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。