論文の概要: OrderDP: A Theoretically Guaranteed Lossless Dynamic Data Pruning Framework

• arxiv url: http://arxiv.org/abs/2606.08574v1
• Date: Sun, 07 Jun 2026 11:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.272966
• Title: OrderDP: A Theoretically Guaranteed Lossless Dynamic Data Pruning Framework
• Title（参考訳）: OrderDP: 理論的に保証されたロスレス動的データ処理フレームワーク
• Authors: Chenhan Jin, Shengze Xu, Qingsong Wang, Fan Jia, Dingshuo Chen, Tieyong Zeng,
• Abstract要約: OrderDPは、理論的な保証とともに、安定的で、偏りがなく、ほぼロスレスなトレーニングアクセラレーションを得ることを目的としている。 CIFAR-10, CIFAR-100, ImageNet-1K の総合ベースラインに対する OrderDP の評価を行った。
• 参考スコア（独自算出の注目度）: 30.771327347534996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data pruning (DP), as an oft-stated strategy to alleviate heavy training burdens, reduces the volume of training samples according to a well-defined pruning method while striving for near-lossless performance. However, existing approaches, which commonly select highly informative samples, can lead to biased gradient estimation compared to full-dataset training. Furthermore, the analysis of this bias and its impact on final performance remains ambiguous. To address these challenges, we propose OrderDP, a plug-and-play framework that aims to obtain stable, unbiased, and near-lossless training acceleration with theoretical guarantees. Specifically, OrderDP first randomly selects a subset and then chooses the top-$q$ samples, where unbiasedness is established with respect to a surrogate loss. This ensures that OrderDP conducts unbiased training in terms of the surrogate objective. We further establish convergence and generalization analyses, elucidating how OrderDP affects optimal performance and enables well-controlled acceleration while ensuring guaranteed final performance. Empirically, we evaluate OrderDP against comprehensive baselines on CIFAR-10, CIFAR-100, and ImageNet-1K, demonstrating competitive accuracy, stable convergence, and exact control -- all with a simpler design and faster runtime, while reducing training cost by over 40%. Delivering both strong performance and computational efficiency, our method serves as a robust and easily adaptable tool for data-efficient learning. The code is publicly available at https://github.com/shengze-xu/OrderDP.
• Abstract（参考訳）: データプルーニング(DP)は、重度の訓練負担を軽減するための定式化戦略であり、ほぼ無作為に努力しながら、明確に定義されたプルーニング法に従ってトレーニングサンプルの量を削減している。 しかし、非常に情報性の高いサンプルを選択する既存のアプローチは、フルデータセットのトレーニングに比べて偏りのある勾配推定につながる可能性がある。 さらに、このバイアスの分析と最終的なパフォーマンスへの影響はあいまいである。 これらの課題に対処するため,我々は,理論的な保証とともに,安定的で偏りのない,ほぼ無作為なトレーニングアクセラレーションを実現することを目的とした,プラグイン・アンド・プレイのフレームワークであるOrderDPを提案する。 具体的には、OrderDPがまずランダムにサブセットを選択し、次に上位$qのサンプルを選択します。 これにより、OrderDPは代理目的の観点からバイアスのない訓練を行う。 我々はさらに収束解析と一般化解析を確立し、OrderDPが最適性能にどう影響するかを解明し、最終的な性能を保証するとともに、適切に制御された加速を可能にする。 CIFAR-10, CIFAR-100, ImageNet-1Kの総合的ベースラインに対してOrderDPを評価し, 競争精度, 安定収束性, 正確な制御性を実証した。 高い性能と計算効率を両立させ,本手法はデータ効率学習のための頑健で適応性の高いツールとして機能する。 コードはhttps://github.com/shengze-xu/OrderDPで公開されている。

関連論文リスト

• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• GIPO: Gaussian Importance Sampling Policy Optimization [12.306486689840774]
  GIPOは、切り詰められた重要度サンプリングに基づく政策最適化の目標として提案されている。 硬い切り抜きを対数比に基づくガウス的信頼重みに置き換え、極めて重要な比率を抑える。 GIPOは、クリッピングベースのベースライン間で、幅広いリプレイバッファサイズで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-04T11:34:59Z)
• Adaptive Rollout Allocation for Online Reinforcement Learning with Verifiable Rewards [26.5011687714416]
  既存のグループベースのポリシー最適化手法は、すべてのトレーニングプロンプトに対して一定数のロールアウトを割り当てる。 この均一な割り当ては全てのプロンプトを等しく情報的扱いし、非効率的な計算予算の使用と訓練の進捗を妨げる可能性がある。 本稿では、既存のバッチのプロンプトに所定のロールアウト予算を割り当て、ポリシー更新のグラデーションのばらつきを最小限に抑える可変インフォームド予測割当戦略であるVIPを紹介する。
  論文  参考訳（メタデータ） (2026-02-02T03:50:01Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• Scaling Adversarial Training via Data Selection [0.0]
  本稿では,各ミニバッチにおける臨界サンプルのサブセットのみを摂動するemphSelective Adversa Trainingを提案する。 MNIST と CIFAR-10 の実験により,提案手法は PGD の完全対向訓練に匹敵する,あるいはそれ以上の堅牢性を達成できることが示された。
  論文  参考訳（メタデータ） (2025-12-26T15:50:33Z)
• Boosted Training of Lightweight Early Exits for Optimizing CNN Image Classification Inference [47.027290803102666]
  我々は、分岐学習と推論時データ分布を整合させるシーケンシャルなトレーニング手法を導入する。 ResNet18バックボーンによるCINIC-10データセットの実験では、BTS-EEが非ブートトレーニングを一貫して上回っていることが示されている。 これらの結果は,産業検査,組込みビジョン,UAVに基づく監視などの応用において,実用的効率の向上をもたらす。
  論文  参考訳（メタデータ） (2025-09-10T06:47:49Z)
• BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
  現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。 この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。 しかし、これは現実世界の長い尾のデータ分布には適用できない。 本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
  論文  参考訳（メタデータ） (2025-06-29T15:12:50Z)
• Bridging SFT and DPO for Diffusion Model Alignment with Self-Sampling Preference Optimization [67.8738082040299]
  自己サンプリング優先最適化(SSPO)は,訓練後強化学習のための新しいアライメント手法である。 SSPOは、SFTのトレーニング安定性を維持しながら、ペアデータと報酬モデルの必要性を排除する。 SSPOは、テキスト・ツー・イメージベンチマークにおける以前のアプローチを全て上回り、テキスト・ツー・ビデオベンチマークにおける優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-10-07T17:56:53Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。