論文の概要: Pick the Mixture, Not the Samples: Combinatorial Data Selection for LLMs

• arxiv url: http://arxiv.org/abs/2610.14028v1
• Date: Wed, 30 Sep 2026 18:01:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.469878
• Title: Pick the Mixture, Not the Samples: Combinatorial Data Selection for LLMs
• Title（参考訳）: サンプルではなくミキサーを選ぶ:LLMの組合せデータ選択
• Abstract要約: 現在のデータ選択手法は、これらの現実をほとんど適応しないままにしている。 私たちはこれらを,属性(サンプルの採点方法)と選択(サブセットの選択方法)を分離するフレームワークである Combinatorial Data Selection (CDS) として形式化します。 そこで本研究では,まず各ドメインからサンプルを何個取り出すかを決定する2段階のアルゴリズムであるMixture-then-Selectを提案し,各ドメイン内のサンプルを属性スコアでランク付けする。
• 参考スコア（独自算出の注目度）: 8.309429160873425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data selection for LLM fine-tuning faces two facts about real training: data pools draw from many distinct domains, and evaluation spans diverse tasks. As a result, the same sample helps different tasks differently, and samples interact during training so that a subset's value is not the sum of its parts. Current data-selection methods leave these realities largely unaddressed. We formalize them as Combinatorial Data Selection (CDS), a framework that separates attribution (how samples are scored) from selection (which subset to pick) and models the non-additive interactions among samples. On a real instruction-tuning data pool, we find substantial cross-domain complementarity (joint utility exceeds the sum of singletons), alongside redundancy within domains. Inspired by this, we propose Mixture-then-Select, a two-stage algorithm that first decides how many samples to take from each domain, then ranks samples within each domain by attribution score. Theoretically, the gap to the optimal subset is linear in the selection size and independent of data pool size. Empirically, Mixture-then-Select outperforms strong baselines by 20 to 54%, is robust across attribution methods, and works across different models and data pool sizes. The framework also extends to the data purchasing problem under a budget constraint when sample prices vary. Our findings suggest that allocating selection across domains offers a promising path toward more efficient and effective data selection for modern LLMs.
• Abstract（参考訳）: LLMの微調整のためのデータ選択は、実際のトレーニングに関する2つの事実に直面している。 その結果、同じサンプルは異なるタスクに役立ち、サンプルはトレーニング中に相互作用し、サブセットの値がその部分の合計ではないようにする。 現在のデータ選択手法は、これらの現実をほとんど適応しないままにしている。 これは、属性(サンプルの採点方法)を選択(サブセットの選択)から切り離し、サンプル間の非付加的な相互作用をモデル化するフレームワークである。 実際の命令チューニングデータプールでは、ドメイン内の冗長性とともに、ドメイン間の相補性(結合ユーティリティはシングルトンの和を超える)がかなり大きい。 そこで本研究では,まず各ドメインからサンプルを何個取り出すかを決定する2段階のアルゴリズムであるMixture-then-Selectを提案し,各ドメイン内のサンプルを属性スコアでランク付けする。 理論的には、最適なサブセットとのギャップは、選択サイズにおいて線形であり、データプールサイズとは独立である。 経験的に、Mixture-then-Selectは強いベースラインを20～54%上回り、属性メソッド間で堅牢で、さまざまなモデルとデータプールサイズで動作します。 このフレームワークは、サンプル価格が変動した場合の予算制約の下でのデータ購入問題にも拡張される。 この結果から, 領域間での選択を割り当てることによって, より効率的かつ効率的なデータ選択が可能となることが示唆された。

関連論文リスト

• Subset Selection for Fine-Tuning: A Utility-Diversity Balanced Approach for Mathematical Domain Adaptation [0.0]
  本稿では,数学的領域のような特定の領域において,LLMを効率よく微調整する手法を提案する。 このアプローチは実用性と多様性のメトリクスを組み合わせて,最も情報に富んだ,代表的なトレーニング例を選択します。
  論文  参考訳（メタデータ） (2025-05-02T18:20:44Z)
• Add-One-In: Incremental Sample Selection for Large Language Models via a Choice-Based Greedy Paradigm [50.492124556982674]
  本稿では,新しい選択型サンプル選択フレームワークを提案する。 個々のサンプル品質の評価から、異なるサンプルのコントリビューション値の比較へと焦点をシフトする。 われわれのアプローチをより大きな医療データセットで検証し、現実の応用における実用性を強調した。
  論文  参考訳（メタデータ） (2025-03-04T07:32:41Z)
• Large-Scale Data Selection for Instruction Tuning [20.45142921023614]
  命令チューニングのためのデータ選択アプローチは、通常、小さなプールから小さなデータセットを選択することでテストされる。 しかし、一般的なインストラクションチューニングモデルでは、数十万から数百万のサンプルをトレーニングし、さらに大きなデータプールからサンプリングすることが多い。 この設定では,最近提案された多くの手法はランダムな選択に欠けており,さらに大きなデータプールへのアクセスを与えられると,性能が低下することさえ示している。 表現に基づくデータ選択の変種(RDS+)は、テストされたすべての設定において、より複雑なメソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-03-03T18:37:26Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• Optimal Data Selection: An Online Distributed View [61.31708750038692]
  この問題のオンライン版と分散版のアルゴリズムを開発する。 ランダム選択法は, ランダム選択法よりも5～20%高い性能を示した。 ImageNet と MNIST の学習タスクにおいて、我々の選択方法はランダム選択よりも5-20% 高い性能を示した。
  論文  参考訳（メタデータ） (2022-01-25T18:56:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。