論文の概要: Hard Way, The Only Way: Provable Merits of Training on Hardest Examples

• arxiv url: http://arxiv.org/abs/2610.21201v1
• Date: Thu, 15 Oct 2026 04:00:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.169287
• Title: Hard Way, The Only Way: Provable Merits of Training on Hardest Examples
• Title（参考訳）: ハードウェイ、唯一の方法:最も難しい例に対するトレーニングのメリット
• Abstract要約: 重み付き経験的リスク最小化によるデータプルーニングにおける学習の高精度な高次元理論を提案する。 戦略的なプルーニングは古典的なsqrt(N/P)レートから分類試験誤差の減衰を加速させることを示した。 驚くべきことに、この最適性能は劇的なプルーニング戦略によって達成されている。
• 参考スコア（独自算出の注目度）: 21.165283217911487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite a surge of empirical interest in the ``unreasonable effectiveness'' of drastic data pruning for AI systems, a unified theoretical understanding of this phenomenon remains elusive. In this work, we provide a precise high-dimensional theory of learning under data pruning via weighted empirical risk minimization (ERM). As in previous work, we analyze a setting where pruning is performed along a one-dimensional subspace of the input space. Our analysis precisely characterizes the limiting test error curves in the regime where the input dimension N and sample size P tend to infinity with a fixed ratio N/P. The resulting theory recovers several recent results in the literature as special cases and provides a general lens to evaluate how pruning strategies interact with the loss function and label noise. Crucially, we characterize the optimal pruning strategy in the high-sample regime where P greatly exceeds N. We demonstrate that strategic pruning can accelerate the decay of classification test error from the classical sqrt(N/P) rate, typical of vanilla ERM with loss functions without exponential tail (e.g., quadratic loss), to the much faster Bayes-optimal scaling of order N/P. In this setup, we prove that, surprisingly, this optimal performance is achieved by a drastic pruning strategy: discarding almost all training data except for a small proportion, consisting strictly of the 2N hardest training examples.
• Abstract（参考訳）: AIシステムのための急激なデータプルーニングの「不合理な有効性」に対する経験的関心の高まりにもかかわらず、この現象の統一的な理論的理解はいまだ解明されていない。 本研究では,重み付き経験的リスク最小化(ERM)によるデータプルーニング下での学習の高精度な高次元理論を提案する。 従来の研究と同様に、入力空間の1次元部分空間に沿ってプルーニングが行われるような設定を解析する。 本分析では,入力次元NとサンプルサイズPが一定比N/Pで無限大となる条件下での限界試験誤差曲線を正確に特徴付ける。 得られた理論は、文学におけるいくつかの研究成果を特別な事例として回収し、プルーニング戦略が損失関数とラベルノイズとどのように相互作用するかを評価するための一般的なレンズを提供する。 我々は,P が N をはるかに上回る高sample 体制における最適刈り取り戦略を特徴付ける。我々は,古典的な sqrt(N/P) レートから,指数的尾部を持たない損失関数を持つバニラERM の典型的な分類試験誤差の崩壊を,はるかに高速なベイズ・最適スケールまで促進できることを示す。 この設定において,この最適性能は,比較的少ない割合のトレーニングデータを除いて,ほとんどすべてのトレーニングデータを破棄し,厳密な2Nトレーニング例から成り立たせるという,劇的なプルーニング戦略によって達成されていることを実証する。

関連論文リスト

• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
  ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。 我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
  論文  参考訳（メタデータ） (2023-05-31T08:13:14Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms and Theoretical Studies [1.6457778420360534]
  任意の損失関数を強固化するために, 外部抵抗推定の枠組みを導入する。 通常のデータセットでは、データ再見積の回数を大幅に削減できるような、開始点の要件を緩和する新しい手法が提案されている。 得られた推定器は、必ずしも大域的でも大域的でもなくても、両方の低次元において最適性を楽しむことができる。
  論文  参考訳（メタデータ） (2021-12-15T20:35:21Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Learning Rates as a Function of Batch Size: A Random Matrix Theory Approach to Neural Network Training [2.9649783577150837]
  スパイクされたフィールド依存ランダム行列理論を用いて, ニューラルネットの損失景観に及ぼすミニバッチの影響について検討した。 我々は、スムーズで非ニュートンディープニューラルネットワークのための最大降下および適応訓練規則の解析式を導出する。 VGG/ResNetおよびImageNetデータセットのクレームを検証する。
  論文  参考訳（メタデータ） (2020-06-16T11:55:45Z)
• Online stochastic gradient descent on non-convex losses from high-dimensional inference [2.2344764434954256]
  勾配降下(SGD)は高次元タスクにおける最適化問題に対する一般的なアルゴリズムである。 本稿では,データから非自明な相関関係を推定する。 本稿では、位相探索や一般化モデルの推定といった一連のタスクに適用することで、我々のアプローチを説明する。
  論文  参考訳（メタデータ） (2020-03-23T17:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。