論文の概要: Greedy Information Projection for LLM Data Selection
- arxiv url: http://arxiv.org/abs/2603.13790v1
- Date: Sat, 14 Mar 2026 06:42:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.408408
- Title: Greedy Information Projection for LLM Data Selection
- Title（参考訳）: LLMデータ選択のためのGreedy Information Projection
- Authors: Victor Ye Dong, Kuan-Yun Lee, Jiamei Shuai, Shengfei Liu, Yi Liu, Jian Jiao,
- Abstract要約: textscGIPは、サンプルのサブセットとタスク固有のクエリ信号の間の相互情報の最大化として選択をキャストする。
textscGIPは、少数の例を使用しながら、フルデータの微調整にマッチする小さなサブセットを選択する。
- 参考スコア（独自算出の注目度）: 6.670884998638381
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present \emph{Greedy Information Projection} (\textsc{GIP}), a principled framework for choosing training examples for large language model fine-tuning. \textsc{GIP} casts selection as maximizing mutual information between a subset of examples and task-specific query signals, which may originate from LLM quality judgments, metadata, or other sources. The framework involves optimizing a closed-form mutual information objective defined using both data and query embeddings, naturally balancing {\it quality} and {\it diversity}. Optimizing this score is equivalent to maximizing the projection of the query embedding matrix onto the span of the selected data, which provides a geometric explanation for the co-emergence of quality and diversity. Building on this view, we employ a fast greedy matching-pursuit procedure with efficient projection-based updates. On instruction-following and mathematical reasoning datasets, \textsc{GIP} selects small subsets that match full-data fine-tuning while using only a fraction of examples and compute, unifying quality-aware and diversity-aware selection for efficient fine-tuning.
- Abstract（参考訳）: 本稿では,大規模言語モデルファインチューニングのトレーニング例を選択するための原則的フレームワークである \emph{Greedy Information Projection} (\textsc{GIP}) を紹介する。
\textsc{GIP} は、サンプルのサブセットとタスク固有のクエリ信号の間の相互情報の最大化として選択をキャストする。
このフレームワークは、データとクエリの埋め込みの両方を用いて定義されたクローズドフォームの相互情報目的を最適化し、自然に品質のバランスをとる。
このスコアを最適化することは、クエリ埋め込み行列が選択されたデータのスパンに投影される最大化と等価であり、品質と多様性の共存に関する幾何学的な説明を提供する。
この観点から、我々は高速なグリーディマッチング・スーツ・プロシージャを使用し、プロジェクションベースの効率的な更新を行う。
命令追従および数学的推論データセットについて、 \textsc{GIP}は、少数の例と計算を使いながら、完全なデータの微調整にマッチする小さなサブセットを選択し、効率的な微調整のために品質認識と多様性認識の選択を統一する。
関連論文リスト
- A Critical Look at Targeted Instruction Selection: Disentangling What Matters (and What Doesn't) [14.070675074621043]
インストラクションの微調整では、ターゲットタスクから小さなクエリセットを使用して、大きな候補プールから命令トレーニングデータのサブセットを選択する。
関心が高まりつつも、対象とする命令の選択に関する文献は断片化され、不透明なままである。
本研究では,データ表現と選択アルゴリズムという2つの中核成分を分離し,体系的に分析することで,この景観に明瞭さをもたらすことを目的とする。
論文 参考訳（メタデータ） (2026-02-16T12:33:05Z) - Exploring Instruction Data Quality for Explainable Image Quality Assessment [58.345719195248314]
説明可能なIQAのための指導調律データセットにおけるデータ品質の役割について検討する。
データセットのサブセットをランダムに選択することで、インストラクションチューニングデータセット全体のトレーニングよりも優れた結果が得られます。
本稿では,クラスタリング特徴抽出,クラスタクォータ割り当て,クラスタサンプリング戦略の3段階からなるクラスタリングに基づくデータ選択フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-04T17:12:54Z) - Subset Selection for Fine-Tuning: A Utility-Diversity Balanced Approach for Mathematical Domain Adaptation [0.0]
本稿では,数学的領域のような特定の領域において,LLMを効率よく微調整する手法を提案する。
このアプローチは実用性と多様性のメトリクスを組み合わせて,最も情報に富んだ,代表的なトレーニング例を選択します。
論文 参考訳（メタデータ） (2025-05-02T18:20:44Z) - Add-One-In: Incremental Sample Selection for Large Language Models via a Choice-Based Greedy Paradigm [50.492124556982674]
本稿では,新しい選択型サンプル選択フレームワークを提案する。
個々のサンプル品質の評価から、異なるサンプルのコントリビューション値の比較へと焦点をシフトする。
われわれのアプローチをより大きな医療データセットで検証し、現実の応用における実用性を強調した。
論文 参考訳（メタデータ） (2025-03-04T07:32:41Z) - TSDS: Data Selection for Task-Specific Model Finetuning [39.19448080265558]
タスク固有の微調整の有効性は、適切なトレーニングデータの選択に大きく依存する。
本稿では,タスク固有のモデル微調整のためのデータ選択フレームワークであるTSDS(Task-Specific Data Selection)を提案する。
提案手法で選択したデータを用いて,1%選択率で命令チューニングを行う場合,全データセットで処理性能が向上することを示す。
論文 参考訳（メタデータ） (2024-10-15T05:54:17Z) - Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。
勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。
セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
論文 参考訳（メタデータ） (2024-10-14T15:48:09Z) - An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
まず最適化モデルを構築し,非単調な選好をモデル化する。
本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。
2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
論文 参考訳（メタデータ） (2024-09-04T14:36:20Z) - DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。
質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。
我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
論文 参考訳（メタデータ） (2024-01-23T17:22:00Z) - Auto-weighted Multi-view Feature Selection with Graph Optimization [90.26124046530319]
グラフ学習に基づく新しい教師なしマルチビュー特徴選択モデルを提案する。
1) 特徴選択過程において, 異なる視点で共有されたコンセンサス類似度グラフが学習される。
各種データセットを用いた実験により,提案手法が最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-11T03:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。