論文の概要: Train on Validation (ToV): Fast data selection with applications to fine-tuning

• arxiv url: http://arxiv.org/abs/2510.00386v1
• Date: Wed, 01 Oct 2025 00:55:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.314479
• Title: Train on Validation (ToV): Fast data selection with applications to fine-tuning
• Title（参考訳）: Train on Validation (ToV): 高速データ選択と微調整への応用
• Authors: Ayush Jain, Andrea Montanari, Eren Sasoglu,
• Abstract要約: 最先端の機械学習は、しばしば2段階のプロセスに従う: 大きな汎用データセットで$(i)$pre-training、タスク固有のデータで$(ii)$fine-tuning。 既存のデータ選択方法は、対象サンプルを検証セットとして扱い、トレーニングプールから単一のサンプルの追加や削除の効果を推定する。 電車とバリデーションの通常の役割を逆転する,よりシンプルで高速な代替案を提案する。 私たちの重要な洞察は、小さな検証セットの微調整によって最も影響を受けるトレーニングサンプルが最も有用であることです。
• 参考スコア（独自算出の注目度）: 12.967061784324427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art machine learning often follows a two-stage process: $(i)$~pre-training on large, general-purpose datasets; $(ii)$~fine-tuning on task-specific data. In fine-tuning, selecting training examples that closely reflect the target distribution is crucial. However, it is often the case that only a few samples are available from the target distribution. Existing data selection methods treat these target samples as a validation set and estimate the effect of adding or removing a single sample from the training pool by performing inference on the validation set. We propose a simpler and faster alternative that inverts the usual role of train and validation: we perform inference on the training pool before and after fine-tuning on the validation set. We then select samples whose predictions change the most. Our key insight is that the training samples most affected by fine-tuning on a small validation set tend to be the most beneficial for reducing test loss on the target distribution. Experiments on instruction tuning and named entity recognition tasks show that, in most cases, our method achieves lower test log-loss than state-of-the-art approaches. We support our findings with theoretical analysis.
• Abstract（参考訳）: 最先端の機械学習は、しばしば2段階のプロセスに従う:$ (i)$~pre-training on large, general-purpose data; $ (ii)$~fine-tuning on task-specific data。 微調整では、ターゲット分布をよく反映したトレーニング例を選択することが重要である。 しかし、ターゲットの分布からサンプルがほんの少ししか得られない場合が多い。 既存のデータ選択方法は、これらの対象サンプルを検証セットとして扱い、検証セットに推論を行うことで、トレーニングプールから単一サンプルの追加または削除の効果を推定する。 我々は,検証セットの微調整前後にトレーニングプールで推論を行うという,訓練と検証の通常の役割を逆転する,よりシンプルで高速な代替案を提案する。 次に、最も予測が変わるサンプルを選択する。 私たちの重要な洞察は、小さな検証セットの微調整によって最も影響を受けるトレーニングサンプルが、ターゲットの分布におけるテスト損失を減らすのに最も有益であることです。 命令チューニングと名前付きエンティティ認識タスクの実験は、ほとんどの場合、我々の手法は最先端の手法よりもテストのログロスが低いことを示す。 我々は理論的分析でこの結果を支持している。

関連論文リスト

• Enhancing Sample Selection Against Label Noise by Cutting Mislabeled Easy Examples [62.13094877228772]
  トレーニングプロセスの初期段階において,モデルによって正しく予測された誤ラベル例は,特にモデル性能に有害であることを示す。 モデルの後続のトレーニング状態を利用して,早期に同定された自信あるサブセットを再選択するアーリーカットを提案する。
  論文  参考訳（メタデータ） (2025-02-12T09:12:45Z)
• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Understanding and Mitigating the Bias in Sample Selection for Learning with Noisy Labels [22.24077757409148]
  サンプル選択におけるバイアス学習のためのnoIse-Tolerant Expert Model (ITEM)を提案する。 具体的には、トレーニングバイアスを軽減するために、複数の専門家と統合した堅牢なネットワークアーキテクチャを設計します。 2つのクラス識別型ミニバッチの混合によるトレーニングにより、モデルが不均衡なトレーニングセットの効果を緩和する。
  論文  参考訳（メタデータ） (2024-01-24T10:37:28Z)
• How Low Can You Go? Surfacing Prototypical In-Distribution Samples for Unsupervised Anomaly Detection [48.30283806131551]
  非常に少ないトレーニングサンプルを持つUADが、トレーニングデータセット全体のトレーニングパフォーマンスにすでに一致している - そして、場合によっては、それを超えることもある、ということが、私たちは示しています。 そこで本研究では,UAD性能をさらに向上させるために,原型標本を確実に同定するための教師なし手法を提案する。
  論文  参考訳（メタデータ） (2023-12-06T15:30:47Z)
• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution Samples [19.311470287767385]
  そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。 提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2022-06-08T18:59:21Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。