論文の概要: DRIFT: Refining Instruction Data via On-Policy Data Attribution

• arxiv url: http://arxiv.org/abs/2606.18307v1
• Date: Tue, 16 Jun 2026 07:21:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.811569
• Title: DRIFT: Refining Instruction Data via On-Policy Data Attribution
• Title（参考訳）: DRIFT: オンラインデータ属性によるインストラクションデータの精製
• Authors: Zefan Wang, Lincheng Li, Tianyu Yu, Yuan Yao,
• Abstract要約: Supervised Fine-Tuning (SFT) は大規模言語モデル(LLM)の能力を決定する 既存のデータキュレーション手法は、制約された予算下でのトレーニングを加速するのに優れているが、能力の上限を上げるには適していない。 最終モデルを改善するのに最も有効なインスタンスに対するデータ分散を改良するためのDRIFTを提案する。
• 参考スコア（独自算出の注目度）: 24.426971578185633
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Optimizing the training data distribution for Supervised Fine-Tuning (SFT) dictates the capability of Large Language Models (LLMs). While existing data curation methods excel at accelerating training under constrained budgets, they are less suited to elevating the capability upper bound. The challenge here is no longer to identify a smaller subset that preserves performance, but to refine the data distribution toward instances most capable of improving the final model. To address this problem, we explore instance-level data attribution using Influence Functions (IF). We identify that standard IF formulations struggle in this setting due to two structural limitations: a proximity gap caused by off-policy validation targets, and a severe bias towards gradient norm. We propose DRIFT (Data Refinement via On-Policy Influence Functions for Supervised Fine-Tuning). Instead of relying on external reference data, DRIFT utilizes the model's on-policy rollouts as validation targets, which empirically minimizes the parameter proximity gap and better aligns with the local neighborhood assumption of IF. It further applies signed weighting based on trajectory correctness and debiases influence scores against the gradient hacking issue, allowing a small set of validation queries to act as reliable anchors for attributing the full dataset. Experiments on 7B-parameter instruction and reasoning models show that DRIFT consistently raises the performance ceiling on both, outperforming existing data curation baselines.
• Abstract（参考訳）: Supervised Fine-Tuning (SFT) のトレーニングデータ分布の最適化は、Large Language Models (LLM) の能力を決定する。 既存のデータキュレーション手法は、制約された予算下でのトレーニングを加速するのに優れているが、能力の上限を高めるには適していない。 ここでの課題は、パフォーマンスを維持する小さなサブセットを特定することではなく、最終モデルを改善する最も可能なインスタンスへのデータ分散を洗練することである。 この問題に対処するために、インフルエンス関数(IF)を用いたインスタンスレベルのデータ属性について検討する。 標準IFの定式化はこの2つの構造的制約により困難であり、これは非政治的検証対象による近接ギャップと、勾配規範に対する深刻な偏りである。 DRIFT (On-Policy Influence Function for Supervised Fine-Tuning)を提案する。 外部参照データに頼る代わりに、DRIFTはモデルのオン・ポリシーのロールアウトをバリデーションターゲットとして利用し、パラメータ近接ギャップを経験的に最小化し、IFの局所的な前提と整合する。 さらに、トラジェクティブの正確性に基づいた署名重み付けを適用し、グラデーションハッキング問題に対する影響スコアを排除し、少数の検証クエリが、完全なデータセットを帰属するための信頼できるアンカーとして機能できるようにします。 7Bパラメータ命令と推論モデルの実験により、DRIFTは両方の性能天井を一貫して上げ、既存のデータキュレーションベースラインを上回っていることが示された。

関連論文リスト

• Can Small Training Runs Reliably Guide Data Curation? Rethinking Proxy-Model Practice [109.9635246405237]
  データ品質に関する実験結果が、ハイパーパラメータのトレーニングに微調整を加えることで、反転できることを示す。 評価プロトコルに簡単なパッチを導入し、プロキシモデルのトレーニングに学習率を削減した。 実験により,データキュレーションの4つの重要な次元をカバーする23種類のデータレシピに対して,このアプローチを検証した。
  論文  参考訳（メタデータ） (2025-12-30T23:02:44Z)
• Data Efficient Adaptation in Large Language Models via Continuous Low-Rank Fine-Tuning [34.343514432589586]
  本稿では,ローランド適応(LoRA)と連続的な微調整戦略を統合する新しいフレームワークであるtextbfを提案する。 15の多様なデータセットの実験は、DEALがベースラインメソッドを一貫して上回っていることを示している。 これらの結果は,大規模言語モデルにおける継続的適応に向けた我々のアプローチの可能性を示している。
  論文  参考訳（メタデータ） (2025-09-23T12:55:57Z)
• Mind the Gap: Data Rewriting for Stable Off-Policy Supervised Fine-Tuning [33.899779762210976]
  大規模言語モデルの教師付き微調整(SFT)は、非政治的な学習問題と見なすことができる。 既存の方法では、ギャップを積極的に減らすのではなく、パッシブに更新するKLペナルティやクリッピングによってこの問題を軽減する。 本稿では,トレーニング前の政策ギャップを積極的に縮小する,シンプルで効果的なデータ書き換えフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-18T17:02:30Z)
• DFF: Decision-Focused Fine-tuning for Smarter Predict-then-Optimize with Limited Data [7.70699448711673]
  意思決定中心学習(DFL)は、予測モデルを直接判断損失(DL)に基づいて訓練することにより、予測テーマ最適化(PO)フレームワークへのエンドツーエンドアプローチを提供する。 いくつかの予測モデルは微分不可能またはブラックボックスであり、勾配法では調整できない。 本稿では,DFLモジュールを新しいバイアス補正モジュールを介してPOパイプラインに埋め込む,DFF(Decision-Focused Fine-tuning)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:46:25Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。 本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Better Practices for Domain Adaptation [62.70267990659201]
  ドメイン適応(DA)は、ラベルを使わずに、モデルを配置データに適用するためのフレームワークを提供することを目的としている。 DAの明確な検証プロトコルは、文献の悪い実践につながっている。 ドメイン適応手法の3つの分野にまたがる課題を示す。
  論文  参考訳（メタデータ） (2023-09-07T17:44:18Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。