論文の概要: Data-DPO: Direct Preference Optimization for Target Model Data Selection in LLM Post-Training
- arxiv url: http://arxiv.org/abs/2608.16926v1
- Date: Wed, 05 Aug 2026 04:32:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-23 14:54:39.977696
- Title: Data-DPO: Direct Preference Optimization for Target Model Data Selection in LLM Post-Training
- Title（参考訳）: LLM後評価におけるターゲットモデルデータ選択のためのデータ-DPO直接選好最適化
- Abstract要約: ターゲットモデル指向SFTデータ選択法であるData-DPOを提案する。
Data-DPOは1ステップの探索を通じて、異なるサンプル上でターゲットモデルの局所的なトレーニングフィードバックを観察する。
サンプル間のアクティベーションの違いをペアワイズなデータ嗜好に変換し、軽量な報酬モデルを使用してターゲットモデル対応のデータ嗜好を学習する。
最終選択段階では、Data-DPOはさらにターゲットモデルの選好、外部品質スコア、限界多様性を組み合わせて、より安定的で効果的なトレーニングサブセットを構築する。
- 参考スコア（独自算出の注目度）: 36.73565681027731
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data selection in supervised fine-tuning aims to select a small set of effective samples from large-scale candidate data, reducing training cost while preserving model performance. However, existing methods usually treat data value as a relatively static property, and pay limited attention to the compatibility between data and the capability distribution of the target model. To address this issue, we propose Data-DPO, a target model-oriented SFT data selection method. Data-DPO observes the local training feedback of the target model on different samples through one-step probing, transforms activation differences among samples into pairwise data preferences, and trains a lightweight reward model to learn target-model-aware data preferences. In the final selection stage, Data-DPO further combines target model preference, external quality scores, and marginal diversity to construct a more stable and effective training subset. Experimental results on Vision-Flan and LLaVA-CoT show that Data-DPO consistently outperforms existing data selection baselines under multiple data budgets and stably surpasses full data training performance.
- Abstract（参考訳）: 教師付き微調整におけるデータ選択は、大規模候補データから少数の有効サンプルを選択し、モデル性能を維持しながらトレーニングコストを削減することを目的としている。
しかし、既存のメソッドは通常、データ値を比較的静的な特性として扱い、データ間の互換性とターゲットモデルの能力分布に限定的に注意を払う。
この問題に対処するため,ターゲットモデル指向SFTデータ選択法であるData-DPOを提案する。
データ-DPOは、一段階の探索を通して、異なるサンプルに対するターゲットモデルの局所的なトレーニングフィードバックを観察し、サンプル間のアクティベーションの違いをペアワイズなデータ嗜好に変換するとともに、軽量な報酬モデルを使用して、ターゲットモデル対応データ嗜好を学習する。
最終選択段階では、Data-DPOはさらにターゲットモデルの選好、外部品質スコア、限界多様性を組み合わせて、より安定的で効果的なトレーニングサブセットを構築する。
Vision-FlanとLLaVA-CoTの実験結果は、Data-DPOが既存のデータ選択ベースラインを複数のデータ予算で一貫して上回り、完全なデータトレーニング性能を安定的に上回っていることを示している。
関連論文リスト
- Towards Understanding Valuable Preference Data for Large Language Model Alignment [85.38864561060088]
大規模言語モデル(LLM)のアライメントは通常、人間の好みの比較から学習することで達成される。
新たに提案したTruncated Influence Function (TIF) を用いた検証データに対する個人の影響によるデータ品質の評価を行う。
この目的のために、我々はそれらを組み合わせ、様々なエラーソースをオフセットし、単純だが効果的なデータ選択ルールをもたらす。
論文 参考訳（メタデータ） (2025-10-15T06:57:55Z) - BLISS: A Lightweight Bilevel Influence Scoring Method for Data Selection in Language Model Pretraining [28.32850393150554]
BLISSは、外部の事前訓練されたオラクルモデルに頼ることなく、スクラッチから完全に高速に動作する軽量なデータ選択方法である。
C4データセットの選択したサブセット上で、410M/1B/2.8B PythiaとLLaMA-0.5Bモデルを事前学習することでBLISSを検証する。
BLISSは最先端の手法と同じ性能に達すると1.7倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2025-10-07T15:42:33Z) - LLM Data Selection and Utilization via Dynamic Bi-level Optimization [100.20933466418786]
本研究では,各バッチ内で選択したデータの重み付けを調整し,トレーニング中の動的データ利用を実現するための新しいデータ重み付けモデル(DWM)を提案する。
実験により,DWMはランダムに選択されたデータを用いて訓練されたモデルの性能を向上させることが示された。
さらに、トレーニング中にモデルのデータ嗜好がどのように進化するかを分析し、トレーニング中のモデルのデータ嗜好に関する新たな洞察を提供する。
論文 参考訳（メタデータ） (2025-07-22T02:47:12Z) - Data Efficacy for Language Model Training [29.901090317084005]
データは言語モデル(LM)の訓練の基礎となる。
近年の研究では、トレーニングデータの最小または最適サブセットを選択することで、パフォーマンスを最大化することを目的としている。
本研究は、LMトレーニングにおけるデータの有効性を検討するための一般的なパラダイムであるDELTを紹介する。
論文 参考訳（メタデータ） (2025-06-26T17:59:07Z) - ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment [94.36403843133616]
人間の好みを使って大きな言語モデル(LLM)を整列させると、さまざまな下流タスクのパフォーマンスが大幅に向上する。
既存の方法には強い理論的な基礎が欠けているか、制限的な報酬関数の仮定に依存している。
非線型報酬関数に対して理論的に基底化されたデータ選択基準を用いるアルゴリズムであるActiveDPOを提案する。
論文 参考訳（メタデータ） (2025-05-25T17:42:52Z) - Optimizing LLMs with Direct Preferences: A Data Efficiency Perspective [4.548047308860141]
本研究では,異なる種類の嗜好データがモデル性能に与える影響について検討する。
収集に費用がかかる大量の好みデータへの依存を減らすことを目的としている。
論文 参考訳（メタデータ） (2024-10-22T00:11:41Z) - A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。
データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。
より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-15T03:00:58Z) - MATES: Model-Aware Data Selection for Efficient Pretraining with Data Influence Models [16.654859430784825]
手作りのルールやより大きな参照モデルに依存する現在のデータ選択方法は、静的に行われ、事前訓練中に進化するデータ優先をキャプチャしない。
データ影響モデル(MATES)を用いたモデル認識データ選択を導入し、データ影響モデルが事前学習モデルの進化するデータ嗜好に継続的に適応し、現在の事前学習の進行に最も有効なデータを選択する。
C4データセット上で410Mと1Bモデルを事前訓練した実験により、MATESは広範囲な下流タスクにおいてランダムなデータ選択を著しく上回ることを示した。
論文 参考訳（メタデータ） (2024-06-10T06:27:42Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳（メタデータ） (2024-02-15T02:27:57Z) - DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。
質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。
我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
論文 参考訳（メタデータ） (2024-01-23T17:22:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。