論文の概要: Dataset Pruning from First Principles: A Label-Free Linear Programming Approach

• arxiv url: http://arxiv.org/abs/2610.10347v1
• Date: Wed, 07 Oct 2026 16:24:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.03573
• Title: Dataset Pruning from First Principles: A Label-Free Linear Programming Approach
• Title（参考訳）: 第一原理からのデータセットの抽出 - ラベルなし線形プログラミングアプローチ
• Abstract要約: 偏差最小化問題として非偏差部分選択を修正して幾何選択基準を導出する。 偏りのない部分集合選択アルゴリズムの族を高次元ポリトープとして特徴付ける。 本手法は, 評価予算毎の平均試験精度において, 均一サンプリング値と一致または超過する。
• 参考スコア（独自算出の注目度）: 0.3867363075280544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dataset pruning reduces a large training set to a representative subset while preserving model performance. Existing geometry-based methods typically assume that nearby points in embedding space share similar properties. Rather than imposing this assumption, we derive geometric selection criteria by reformulating unbiased subset selection as a variance minimization problem. Unbiasedness ensures that unweighted subset averages recover full-dataset averages in expectation, including losses and gradients at fixed model parameters. Specifically, we characterize a family of unbiased subset selection algorithms as a high-dimensional polytope. In this context, minimizing the expected sampling variance is a linear objective. Differences in sampling variance, averaged over rigid motions, admit closed-form pairwise expressions. Because the polytope has high dimension, directly applying standard linear programming is impractical. We instead use these expressions to construct an efficient vertex walk that optimizes an approximation of the variance objective while preserving unbiasedness, yielding a method that requires neither labels nor model training during selection. Across CIFAR-10, MNIST, and CelebA benchmarks, our method matches or exceeds uniform sampling in mean test accuracy at every evaluated budget and outperforms competing geometric methods in several settings, particularly at small selection budgets. Beyond dataset pruning, the same framework reduces stochastic-gradient variance by increasing diversity within mini-batches while keeping the batch size unchanged.
• Abstract（参考訳）: データセットのプルーニングは、モデルパフォーマンスを維持しながら、大きなトレーニングセットを代表サブセットに還元する。 既存の幾何学に基づく方法は通常、埋め込み空間の近傍の点が同様の性質を持つと仮定する。 この仮定を示唆するのではなく、偏差最小化問題として非偏差部分選択を再構成することにより幾何学的選択基準を導出する。 不偏性は、固定されたモデルパラメータの損失や勾配を含む、未重み付きサブセット平均が期待値の完全なデータセット平均を回復することを保証する。 具体的には、偏りのないサブセット選択アルゴリズムの族を高次元ポリトープとして特徴付ける。 この文脈では、期待されるサンプリング分散を最小化することが線形目的である。 厳密な運動よりも平均化されたサンプリング分散の差は、閉形式のペアワイズ表現を許容する。 ポリトープは高次元であるため、標準線形プログラミングを直接適用することは現実的ではない。 その代わりに、これらの表現を用いて分散目標の近似を最適化する効率的な頂点ウォークを構築し、不偏性を維持しながら、ラベルもモデルトレーニングも必要としない方法で選択する。 CIFAR-10, MNIST, CelebAのベンチマークでは, 評価された各予算において, 平均検定精度で一様サンプリングと一致し, 幾何法と競合する幾何法よりも優れており, 特に小選択予算では優れていた。 データセットのプルーニング以外にも、バッチサイズを一定に保ちながら、ミニバッチ内での多様性を増大させることで、確率的な段階的な分散を低減する。

関連論文リスト

• Predictive Coresets [0.0]
  従来のコアセットアプローチは、フルデータセットと重み付きデータセットの確率関数間のクルバック・リーバーの偏差を最小化することで重みを決定する。 そこで本研究では,ランダム化後続法を用いて,未知の後方予測分布に一致した重みを求める方法を提案する。 ランダムな分割や密度推定を含む多種多様な問題に対して,提案したコアセット構築の性能を評価する。
  論文  参考訳（メタデータ） (2025-02-08T23:57:43Z)
• Sharp Variance-Dependent Bounds in Reinforcement Learning: Best of Both Worlds in Stochastic and Deterministic Environments [48.96971760679639]
  マルコフ決定過程(MDP)の分散依存的後悔境界について検討する。 環境の微細な分散特性を特徴付けるための2つの新しい環境規範を提案する。 モデルに基づく手法では、MVPアルゴリズムの変種を設計する。 特に、この境界は極小かつ決定論的 MDP に対して同時に最適である。
  論文  参考訳（メタデータ） (2023-01-31T06:54:06Z)
• Faithful Heteroscedastic Regression with Neural Networks [2.2835610890984164]
  パラメータマップにニューラルネットワークを使用するパラメトリックメソッドは、データ内の複雑な関係をキャプチャすることができる。 ヘテロスセダティックなモデルを生成するために最適化に2つの簡単な修正を加え、ホモスセダティックなモデルとほぼ同等の精度で推定する。 提案手法は,等しくフレキシブルな平均値のみのモデルの精度を維持しつつ,クラスごとの分散キャリブレーションも提供する。
  論文  参考訳（メタデータ） (2022-12-18T22:34:42Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
  カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。 我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
  論文  参考訳（メタデータ） (2020-04-23T05:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。