論文の概要: Learning Multi-Indicator Weights for Data Selection: A Joint Task-Model Adaptation Framework with Efficient Proxies

• arxiv url: http://arxiv.org/abs/2605.09665v1
• Date: Sun, 10 May 2026 17:30:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.359419
• Title: Learning Multi-Indicator Weights for Data Selection: A Joint Task-Model Adaptation Framework with Efficient Proxies
• Title（参考訳）: データ選択のための多指標ウェイト学習:効率的なプロキシを用いたタスクモデル適応フレームワーク
• Authors: Jingze Song, Zihao Chen, Wenqing Chen, Zibin Zheng,
• Abstract要約: 本稿では、下流タスクと特定のモデルの両方にデータ選択を併用する多変数重み学習フレームワークを提案する。 提案手法は,GSM8Kのトレーニングサンプルの30%しか使用せず,フルデータセットチューニングに匹敵する性能を実現する。
• 参考スコア（独自算出の注目度）: 50.39041754816285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data selection is a key component of efficient instruction tuning for large language models, as recent work has shown that data quality often matters more than data quantity. Accordingly, prior studies have introduced various multi-dimensional heuristics to evaluate and filter instruction data. However, most existing methods rely on static task-agnostic and model-agnostic weighting schemes, which overlook the varying requirements of specific downstream tasks and the differing pre-existing capabilities of models. In this paper, we propose a framework for learning multi-indicator weights that jointly adapts data selection to both the downstream task and the specific model. Our method identifies optimal weight configurations without full-scale fine-tuning by utilizing in-context learning (ICL) signals on compact tiny-validation sets. These signals serve as efficient performance proxies that ensure high-fidelity evaluation at minimal computational cost. Experiments across multiple benchmarks and model families, including Mistral, Qwen, and Llama, show that the approach achieves performance comparable to or exceeding full-dataset tuning while using only 30\% of the training samples on GSM8K. Furthermore, our analysis reveals a trade-off between semantic diversity and logical complexity in reasoning tasks, highlighting the necessity of joint task-model adaptation.
• Abstract（参考訳）: 最近の研究でデータ品質がデータ量よりも重要であることが示されているように、データ選択は大規模言語モデルの効率的な命令チューニングの重要な要素である。 そこで,従来の研究では,命令データの評価とフィルタを行うための多次元ヒューリスティックスを導入している。 しかし、既存のほとんどのメソッドは静的なタスク非依存およびモデル非依存の重み付け方式に依存しており、これは特定の下流タスクの様々な要求と、モデルの既存の機能が異なることを見落としている。 本稿では、下流タスクと特定モデルの両方にデータ選択を併用する多指標重み学習フレームワークを提案する。 提案手法は,コンパクトな小値集合上でのコンテキスト内学習(ICL)信号を利用して,高精度な微調整を行なわずに最適な重み構成を同定する。 これらの信号は、最小計算コストで高忠実度評価を確実にする効率的な性能プロキシとして機能する。 Mistral、Qwen、Llamaなど、複数のベンチマークやモデルファミリを対象とした実験では、GSM8Kのトレーニングサンプルの30倍しか使用せず、フルデータセットチューニングに匹敵するパフォーマンスを実現している。 さらに,本分析では,意味的多様性と推論作業における論理的複雑性のトレードオフを明らかにし,共同作業モデル適応の必要性を明らかにした。

関連論文リスト

• DOSE: Data Selection for Multi-Modal LLMs via Off-the-Shelf Models [43.094426671099]
  目標データを見たことのない市販の事前訓練モデルを用いて,タスク固有のトレーニングを伴わずに,より大規模で強力なマルチモーダルモデルのトレーニングサンプルを選択することができるかを検討する。 共同品質アライメント分布を構築し, 適応重み付きサンプリングを適用して, 長期の多様性を維持しつつ, 情報的サンプルを選択する。 このアプローチはデータの多様性を高め、DOSEでフィルタされたデータでトレーニングされたモデルが、標準のVQAおよび数学ベンチマークでトレーニングされたデータセットでトレーニングされたモデルと一致するか、あるいは超えるようにする。
  論文  参考訳（メタデータ） (2026-04-18T12:41:06Z)
• TADS: Task-Aware Data Selection for Multi-Task Multimodal Pre-Training [29.962039479618543]
  マルチタスク・マルチモーダル・プレトレーニングのための新しいフレームワークであるTADS(Task-Aware Data Selection)を紹介する。 TADSは固有の品質、タスク関連性、分散多様性を学習可能な値関数に統合する。 フィードバック駆動型メタ学習機構は、プロキシモデルの性能に基づいて選択戦略を適応的に洗練する。
  論文  参考訳（メタデータ） (2026-02-05T03:08:45Z)
• Does This Look Familiar to You? Knowledge Analysis via Model Internal Representations [0.0]
  効果的なトレーニングデータ選択のための明確な方法論は存在しない。 モデル内部表現(KAMIR)は、これらの制限を克服する新しいアプローチである。 機械読解や要約など、幅広いタスクに適用することができる。
  論文  参考訳（メタデータ） (2025-09-09T01:08:15Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks [3.9638110494107095]
  In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。 本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。 我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
  論文  参考訳（メタデータ） (2023-11-16T06:28:05Z)
• Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
  モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。 データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。 3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
  論文  参考訳（メタデータ） (2023-11-14T14:10:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。