論文の概要: Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)

• arxiv url: http://arxiv.org/abs/2610.02092v1
• Date: Thu, 01 Oct 2026 17:23:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.328776
• Title: Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)
• Title（参考訳）: データ選択のためのスケーラブルでトランスファー可能なメタネットワークは、異なる損失を必要とする(そして、明白な選択が問題となる理由)
• Abstract要約: Transferable Example Scoring and Selection (TESS)は、PVM(Pointwise Value Matching Object)上に構築されたスケーラブルなデータ選択フレームワークである。 LLMの安全性と目標とする命令チューニングの実験は、サブセットから完全なコーパス、より小さなモデルからより大きなモデルまで、データセット間で強力な転送を示す。
• 参考スコア（独自算出の注目度）: 7.8783720827749315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data selection is critical for training large language models on massive and heterogeneous corpora. Meta-learning for Training-data Selection offers a principled alternative to heuristic scoring by learning data weights from a target validation objective, but existing methods face a trade-off between fine-grained valuation and transferability to unseen data. A natural solution is to replace per-sample weights with a selection network. However, we find that directly incorporating such a network into existing MTS objectives leads to unstable optimization and poor generalization, caused by weight suppression and persistent reliance on easy-to-learn features. To address these issues, we propose Transferable Example Scoring and Selection (TESS), a scalable data-selection framework built on a Pointwise Value Matching objective (PVM). Experiments on LLM safety and targeted instruction tuning demonstrate strong transfer across datasets, from subsets to full corpora, and from smaller to larger models.
• Abstract（参考訳）: データ選択は、大規模で異質なコーパス上での大規模言語モデルのトレーニングに不可欠である。 トレーニングデータ選択のためのメタラーニングは、目標の検証目標からデータ重みを学習することでヒューリスティックスコアの原則的な代替手段を提供するが、既存の方法は、きめ細かい評価と、見当たらないデータへの転送性との間のトレードオフに直面している。 自然な解決策は、サンプル単位の重みを選択ネットワークに置き換えることである。 しかし,そのようなネットワークを既存のMSSの目的に直接組み込むことは,重み抑制や学習が容易な特徴への永続的依存に起因する不安定な最適化や一般化の欠如につながることがわかった。 これらの問題に対処するために,PVM(Pointwise Value Matching Object)上に構築されたスケーラブルなデータ選択フレームワークであるTransferable Example Scoring and Selection(TESS)を提案する。 LLMの安全性と目標とする命令チューニングの実験は、サブセットから完全なコーパス、より小さなモデルからより大きなモデルまで、データセット間で強力な転送を示す。

関連論文リスト

• EvoSelect: Data-Efficient LLM Evolution for Targeted Task Adaptation [79.71802168256542]
  大きな言語モデル(LLM)を目的のタスクに効率的に、効果的に適応させることは、根本的な課題である。 1つの簡単なアプローチは、外部ジェネレータを通じて候補データを合成する反復的な生成訓練ループである。 モデル更新に先立って選択ステップを組み込んだ改良パラダイム,すなわち反復生成選択学習ループを導入する。
  論文  参考訳（メタデータ） (2026-04-28T23:26:16Z)
• Meta-Sel: Efficient Demonstration Selection for In-Context Learning via Supervised Meta-Learning [9.851186633544975]
  目的分類のための軽量な教師付きメタ学習手法であるMeta-Selを提案する。 ラベル付きトレーニングデータから(候補、クエリ)ペアの高速で解釈可能なスコアリング関数を学習する。 推測時、セレクタは全候補プール上で1つのベクトル化スコアを実行し、トップkのデモを返す。
  論文  参考訳（メタデータ） (2026-02-12T16:11:29Z)
• ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning [51.133569963553576]
  ssTokenは自己変調されたセマンティックなToken Selectionアプローチである。 自己変調の選択とセマンティック・アウェアの選択の両方が、フルデータの微調整よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-10-21T03:21:04Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Challenging Forgets: Unveiling the Worst-Case Forget Sets in Machine Unlearning [9.998859702421417]
  マシン・アンラーニング(MU)は、選択したデータポイントがモデルの性能に与える影響を排除することを目的としている。 データ影響消去のための様々なMU手法にもかかわらず、評価は主にランダムなデータの忘れ方に焦点を当てている。 本稿では,影響消去の最も重要な課題を示すデータサブセットの同定を提案する。
  論文  参考訳（メタデータ） (2024-03-12T06:50:32Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Data-Driven Offline Decision-Making via Invariant Representation Learning [97.49309949598505]
  オフラインのデータ駆動意思決定は、アクティブなインタラクションなしで最適化された決定を合成する。 オフラインデータからトレーニングされたモデルへの入力に関して最適化する場合、誤って良いように見えるアウト・オブ・ディストリビューション(OOD)インプットを生成するのは簡単です。 本稿では、オフラインデータ駆動意思決定をドメイン適応として定式化し、最適化された決定値の正確な予測を行うことを目標とする。
  論文  参考訳（メタデータ） (2022-11-21T11:01:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。