論文の概要: The Long-Term Effects of Data Selection in LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2605.30537v1
• Date: Thu, 28 May 2026 20:12:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.214456
• Title: The Long-Term Effects of Data Selection in LLM Fine-Tuning
• Title（参考訳）: LLMファインチューニングにおけるデータ選択の長期的効果
• Authors: Yuxin Yang, Aoxiong Zeng, Xiangquan Yang,
• Abstract要約: 短時間のセレクタは、後続の学習を遅くし、忘れることの増大を抑えながら、ランク逆転を示すことができることを示す。 本稿では,この動作をエフェミクティック選択として形式化し,その原因を簡易に解析し,LHAS(Long-Horizon Aware Selection)の目的を提案する。 この研究は、データ選択は、局所的なデータ効率のメカニズムとしてだけでなく、モデルの学習軌道を形成する訓練の介入として評価されるべきである、と論じている。
• 参考スコア（独自算出の注目度）: 1.9054869116450563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data selection is increasingly used to reduce the cost of large language model (LLM) fine-tuning, with recent methods prioritizing samples by current utility, diversity, quality, or influence. This paper studies a different question: when fine-tuning occurs over multiple stages, can selection strategies that look optimal now make the model less adaptable later? We introduce a long-horizon view of LLM data selection in which a selector is evaluated not only by immediate task performance, but also by future adaptation speed, forgetting, capability imbalance, and out-of-distribution robustness. We compare representative random, loss-based, gradient-based, diversity-based, quality-based, and utility-diversity selection families under a unified multi-stage protocol. Through controlled experiments designed to instantiate this protocol, we show how short-term selectors can exhibit rank reversal: they improve the current stage while slowing subsequent learning and increasing forgetting. We formalize this behavior as \emph{myopic selection}, provide a simple local analysis of why it can occur, and propose a diagnostic Long-Horizon Aware Selection (LHAS) objective that augments immediate utility with coverage, future-proxy transfer, and anti-concentration terms. The study argues that data selection should be evaluated as a training intervention that shapes the model's learning trajectory, rather than only as a local data-efficiency mechanism.
• Abstract（参考訳）: データ選択は、現在のユーティリティ、多様性、品質、影響によってサンプルを優先順位付けする最近の方法によって、大規模言語モデル(LLM)の微調整コストを削減するために、ますます使われています。 本稿では,複数段階にわたる微調整が生じた場合,最適に見える選択戦略が,モデルに後から適応性を損なうことができるのか,という問題を考察する。 本稿では,LLMデータ選択の長期的視点について紹介する。セレクタはタスクの即時性能だけでなく,将来の適応速度,忘れ,能力不均衡,分布外ロバスト性などによって評価される。 汎用ランダム,損失ベース,勾配ベース,多様性ベース,品質ベース,ユーティリティ多様性の選択を,統一された多段階プロトコルで比較する。 このプロトコルをインスタンス化するために設計された制御実験を通じて、短期的なセレクタがどのようにランク逆転を示すかを示す。 本稿では,この動作を「emph{myopic selection}」として定式化し,その発生理由の簡易な局所的分析を行い,カバー範囲,将来のプロキシ転送,アンチ・集中化用語による即時効用を増強するLHAS(Long-Horizon Aware Selection)目標を提案する。 この研究は、データ選択は、局所的なデータ効率のメカニズムとしてだけでなく、モデルの学習軌道を形成する訓練の介入として評価されるべきである、と論じている。

関連論文リスト

• EvoSelect: Data-Efficient LLM Evolution for Targeted Task Adaptation [79.71802168256542]
  大きな言語モデル(LLM)を目的のタスクに効率的に、効果的に適応させることは、根本的な課題である。 1つの簡単なアプローチは、外部ジェネレータを通じて候補データを合成する反復的な生成訓練ループである。 モデル更新に先立って選択ステップを組み込んだ改良パラダイム,すなわち反復生成選択学習ループを導入する。
  論文  参考訳（メタデータ） (2026-04-28T23:26:16Z)
• A Comparative Study of Demonstration Selection for Practical Large Language Models-based Next POI Prediction [15.310992304536626]
  大規模言語モデル(LLM)を用いたインコンテキスト学習(ICL)は,近年,従来の教師付きアプローチに代わる有望な代替手段として注目されている。 本稿では,大規模言語モデル(LLM)を用いて,ユーザの次の関心点(POI)を予測するためのデモ選択戦略について検討する。
  論文  参考訳（メタデータ） (2026-03-16T03:34:22Z)
• Towards Understanding Valuable Preference Data for Large Language Model Alignment [85.38864561060088]
  大規模言語モデル(LLM)のアライメントは通常、人間の好みの比較から学習することで達成される。 新たに提案したTruncated Influence Function (TIF) を用いた検証データに対する個人の影響によるデータ品質の評価を行う。 この目的のために、我々はそれらを組み合わせ、様々なエラーソースをオフセットし、単純だが効果的なデータ選択ルールをもたらす。
  論文  参考訳（メタデータ） (2025-10-15T06:57:55Z)
• Differential-informed Sample Selection Accelerates Multimodal Contrastive Learning [35.359482937263145]
  そこで本研究では,学習促進のための雑音対応を高精度かつ効率的に識別するDISSect法を提案する。 具体的には,雑音対応がコントラスト学習に与える影響を再考し,現在のモデルと過去のモデルとの相関関係の差が,サンプル品質の特徴づけに有益であることを示す。
  論文  参考訳（メタデータ） (2025-07-17T11:13:44Z)
• Random Initialization Can't Catch Up: The Advantage of Language Model Transfer for Time Series Forecasting [12.230245646429324]
  最近の研究は、低データ体制における時系列予測に事前学習言語モデル(LM)を適用することの有効性を実証している。 本研究は,言語モデルから時系列予測への効果的な移行を,様々な設計選択の下で分析することによって,これらの知見を裏付けるものである。
  論文  参考訳（メタデータ） (2025-06-12T18:39:38Z)
• Add-One-In: Incremental Sample Selection for Large Language Models via a Choice-Based Greedy Paradigm [50.492124556982674]
  本稿では,新しい選択型サンプル選択フレームワークを提案する。 個々のサンプル品質の評価から、異なるサンプルのコントリビューション値の比較へと焦点をシフトする。 われわれのアプローチをより大きな医療データセットで検証し、現実の応用における実用性を強調した。
  論文  参考訳（メタデータ） (2025-03-04T07:32:41Z)
• Take the essence and discard the dross: A Rethinking on Data Selection for Fine-Tuning Large Language Models [36.22392593103493]
  微調整された大規模言語モデル(LLM)のデータ選択は、既存のデータセットから高品質なサブセットを選択することを目的としている。 既存の調査では、微調整フェーズの詳細な調査を見落としている。 特徴抽出, 基準設計, セレクタ評価を含む新しい3段階の手法を導入し, これらの手法を体系的に分類し, 評価する。
  論文  参考訳（メタデータ） (2024-06-20T08:58:58Z)
• Diversified Batch Selection for Training Acceleration [68.67164304377732]
  オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。 バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。 DivBS(Diversified Batch Selection)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:12:20Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。