論文の概要: ICLHerd: Herding-Based Data Selection for LLMs with In-Context Learning as a Proxy

• arxiv url: http://arxiv.org/abs/2610.27142v1
• Date: Mon, 19 Oct 2026 18:36:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.458137
• Title: ICLHerd: Herding-Based Data Selection for LLMs with In-Context Learning as a Proxy
• Title（参考訳）: ICLHerd: 文脈学習をプロキシとしたLLMのためのHerding-based Data Selection
• Abstract要約: 一般的なアプローチは、望ましいスキルをエンコードする開発セットをキュレートし、それらに似たデータを選択することである。 既存の方法では、モデルが隠された状態または勾配のどちらよりも、コサイン距離を用いて類似性を計算する。 ICLHerdはモデム検索とモデム検索のバランスをとるデータ選択フレームワークである。
• 参考スコア（独自算出の注目度）: 24.805143991418436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data selection plays a central role in modern large language model training, as the quality of training data strongly influences downstream performance. A common approach is to curate a development set that encodes the desired skills (e.g., reasoning or multilinguality) and select data that are similar to them. Existing methods compute similarity using cosine distance over either the model's hidden states or gradients. However, we observe that this max-similarity strategy induces a mode-seeking bias: the selected data clusters tightly around the development samples. To address this, we propose ICLHerd, a data selection framework that leverages the von Mises-Fisher kernel to balance mode-seeking with mode-averaging. We further introduce in-context learning as a validation proxy, enabling efficient hyperparameter search over the balance trade-off. Results show that ICLHerd outperforms existing LLM data selection algorithms, highlighting the importance of balancing mode-seeking and mode-averaging.
• Abstract（参考訳）: データ選択は、トレーニングデータの質が下流のパフォーマンスに強く影響するため、現代の大規模言語モデルのトレーニングにおいて中心的な役割を果たす。 一般的なアプローチは、望ましいスキル(例えば、推論や多言語性)をエンコードする開発セットをキュレートし、それらに似たデータを選択することである。 既存の方法では、モデルが隠された状態または勾配のどちらよりも、コサイン距離を用いて類似性を計算する。 しかし、この極大類似性戦略はモード探索バイアスを生じさせ、選択したデータクラスタが開発サンプルの周囲に密着しているのを観察する。 そこで本研究では,von Mises-Fisherカーネルを利用するデータ選択フレームワークであるICLHerdを提案する。 さらに,テキスト内学習をバリデーションプロキシとして導入し,バランストレードオフに対する効率的なハイパーパラメータ探索を実現する。 ICLHerdは既存のLCMデータ選択アルゴリズムよりも優れており、モード探索とモード回避のバランスの重要性を強調している。

関連論文リスト

• BLADE: Scalable Bi-level Adaptive Data Selection for LLM Training [34.64488220249771]
  データ選択のためのヘシアンフリーフレームワークBLADE(Bi-Level Adaptive Data sElection)を提案する。 BLADEは、インフルエンスベースの手法に基づく二段階最適化問題を、ペナル化された単一レベル目的として再定義する。 効率的なオンラインバッチ選択のために、BLADEをメモリレスランダム化ブロックコーディネートFrank-Wolfeアルゴリズムとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-06-17T03:35:04Z)
• MIRA: Mid-training Rubric Anchoring for Source-Aware Data Selection [59.34281845159177]
  我々は,自作ルーブリック発見に基づくソース認識フィルタリングフレームワークであるMIRAを提案する。 21のソースと5つのソースグループを持つコード指向のミッドトレーニングでは、MIRAは9つのコードベンチマークで選択ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-05-28T17:40:40Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• PEAKS: Selecting Key Training Examples Incrementally via Prediction Error Anchored by Kernel Similarity [6.6157730528755065]
  インクリメンタルデータ選択(IDS)問題では,サンプルが連続的なストリームとして到着し,完全なデータソースにアクセスせずに選択する必要がある。 IDSに適した効率的なデータ選択法であるPEAKSを提案する。 PEAKSが既存の選択戦略を一貫して上回ることを示す総合評価を行った。
  論文  参考訳（メタデータ） (2025-04-07T16:42:09Z)
• Efficient Pretraining Data Selection for Language Models via Multi-Actor Collaboration [39.16321257800402]
  言語モデル(LM)の事前学習を高速化する多要素協調データ選択機構を提案する。 各データ選択方法は、その基準に基づいてデータを独立に優先順位付けし、モデルの現在の状態を使用して優先順位付けルールを更新する。 コンソールは、様々な段階における異なるアクターの影響を調整し、LM事前訓練プロセスを通して全てのアクターからの情報を動的に統合するように設計されている。
  論文  参考訳（メタデータ） (2024-10-10T16:45:28Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Balancing Constraints and Submodularity in Data Subset Selection [43.03720397062461]
  より少ないトレーニングデータを用いて、従来のディープラーニングモデルと同様の精度が得られることを示す。 新たな多様性駆動客観的関数を提案し,マトロイドを用いたクラスラベルと決定境界の制約のバランスをとる。
  論文  参考訳（メタデータ） (2021-04-26T19:22:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。