論文の概要: Towards Faithful Data Selection: Statistical Limits and Scalable Algorithms

• arxiv url: http://arxiv.org/abs/2610.30442v1
• Date: Wed, 21 Oct 2026 20:51:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.135599
• Title: Towards Faithful Data Selection: Statistical Limits and Scalable Algorithms
• Title（参考訳）: 忠実なデータ選択に向けて:統計的限界とスケーラブルアルゴリズム
• Abstract要約: 最適なデータ選択アルゴリズムは、トレーニングセットよりも順番に大きい検証セットにアクセス可能であることを示す。 この不可能な結果は、検証不可能な人口リスクの最小化から一方的な保証への移行を動機付けている。 本稿では,スワップベースの局所探索手法を提案する。
• 参考スコア（独自算出の注目度）: 18.937104280192667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What does it mean to have an optimal data selection algorithm? Optimality is conventionally framed as finding a subset that minimizes the population error of the classifier trained only on that subset. Our starting point in this work is first to show that this goal is information-theoretically impossible unless the data selection algorithm has access to a validation set order-wise larger than the training set. This impossibility result motivates shifting from unverifiable population risk minimization to a one-sided guarantee that we refer to as faithfulness: for any candidate subset, we provide an estimable proxy that upper-bounds the difference between training on the full training data and on only the subset. We model training with the Unadjusted Langevin Algorithm and bound the Kullback--Leibler divergence between subset-trained and full-data-trained parameter distributions by the trajectory-accumulated gradient discrepancy. Minimizing this discrepancy gives a principled way to select a subset. Even though the resulting problem is NP-hard, we propose a swap-based local search that decreases the bound at every accepted step. It can therefore refine the output of any selector without worsening its bound. Finally, we provide experimental results on CIFAR10 and CIFAR100 showing that it matches existing data selection baselines. Implementation of our algorithm and the code for reproducing the results are available at: https://github.com/Mehdi-Inane/data_selection_swap.
• Abstract（参考訳）: 最適なデータ選択アルゴリズムを持つことは何を意味するのか? 最適性は、伝統的に、そのサブセットでのみ訓練された分類器の集団エラーを最小限に抑えるサブセットを見つけることである。 この研究の出発点は、データ選択アルゴリズムがトレーニングセットよりも順番に大きい検証セットにアクセスできない限り、この目標が情報理論的に不可能であることを示すことです。 この不合理性の結果は、検証不可能な集団リスクの最小化から、私たちが「忠実さ」と呼ぶ一方的な保証への移行を動機付けている。 我々は、未調整ランゲヴィンアルゴリズムを用いてトレーニングをモデル化し、トラジェクトリ累積勾配差分法によるサブセットトレーニングされたパラメータ分布とフルデータトレーニングされたパラメータ分布のKullback-Leibler分散をバインドする。 この相違を最小化することは、原則的に部分集合を選択する方法を与える。 結果として得られる問題はNPハードであるにもかかわらず、スワップベースの局所探索を提案し、受け入れるステップ毎に境界を小さくする。 したがって、任意のセレクタの出力を、境界を悪化させることなく洗練することができる。 最後に,CIFAR10とCIFAR100の実験結果から,既存のデータ選択ベースラインと一致することを示す。 アルゴリズムの実装と結果を再現するためのコードは、https://github.com/Mehdi-Inane/data_selection_swap.comで公開されている。

関連論文リスト

• Probabilistic Multi-Source Data Selection via Learnable Categorical Priors: Variance Reduction and Guaranteed Derandomization [59.701780470926074]
  バイレベルデータ選択は、機械学習と統計学における多くの応用における基本的なタスクである。 本稿では,マルチソースバイレベルデータ選択問題に対する新しい確率緩和法を提案する。 我々のキーとなる考え方は、複数の学習可能なカテゴリ先を導入し、実現可能なデータサブセットでのみサポートされている確率分布をパラメータ化することである。
  論文  参考訳（メタデータ） (2026-10-10T14:14:34Z)
• Data Selection for ERMs [67.57726352698933]
  我々は、$mathcalA$が、少なくとも$nll N$のデータポイントで訓練された時に、いかにうまく機能するかを研究する。 結果は,平均推定,線形分類,線形回帰に対する最適データ選択境界を含む。
  論文  参考訳（メタデータ） (2025-04-20T11:26:01Z)
• TSDS: Data Selection for Task-Specific Model Finetuning [39.19448080265558]
  タスク固有の微調整の有効性は、適切なトレーニングデータの選択に大きく依存する。 本稿では,タスク固有のモデル微調整のためのデータ選択フレームワークであるTSDS(Task-Specific Data Selection)を提案する。 提案手法で選択したデータを用いて,1%選択率で命令チューニングを行う場合,全データセットで処理性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-15T05:54:17Z)
• Scalable Fine-tuning from Multiple Data Sources: A First-Order Approximation Approach [17.79010397902909]
  目的タスクに対する言語モデル(LM)の微調整の問題について,$n$補助タスクの情報を用いて最適に検討する。 この問題には、NLPにおけるターゲット命令チューニングや、チェーン・オブ・ファインタニングにおけるデータ選択など、幅広い応用がある。 繰り返しトレーニングを必要とせずにモデル微調整性能を推定する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-28T21:26:50Z)
• Probabilistic Bilevel Coreset Selection [24.874967723659022]
  本稿では,各トレーニングサンプルの確率的重みを学習することにより,コアセット選択の連続確率的2レベル定式化を提案する。 暗黙的な微分の問題を伴わずに、偏りのない政策勾配を経由し、二段階最適化問題に対する効率的な解法を開発する。
  論文  参考訳（メタデータ） (2023-01-24T09:37:00Z)
• Who Should Predict? Exact Algorithms For Learning to Defer to Humans [40.22768241509553]
  従来の手法では,誤分類誤りの少ない人間-AIシステムを見つけることができなかった。 線形設定における問題を最適に解くことができるMILP(mixed-integer-linear-gramming)の定式化について述べる。 実現可能で,実証的にも良好に機能する新規な代理損失関数を提供する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:36Z)
• Low Budget Active Learning via Wasserstein Distance: An Integer Programming Approach [81.19737119343438]
  アクティブラーニング(Active Learning)とは、ラベル付きデータプールのコアサブセットをラベルに選択することで、ラベル付きデータでモデルをトレーニングするプロセスである。 本稿では,未ラベルプールからワッサーシュタイン距離を最小化するコアセットを選択するための新しい整数最適化問題を提案する。 我々の戦略は、ラベルのないプールで教師なし学習によって得られる高品質な潜伏的特徴を必要とする。
  論文  参考訳（メタデータ） (2021-06-05T21:25:03Z)
• Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
  我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。 また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-11-19T10:00:54Z)
• Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
  カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。 我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
  論文  参考訳（メタデータ） (2020-04-23T05:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。