論文の概要: RCAP: Robust, Class-Aware, Probabilistic Dynamic Dataset Pruning
- arxiv url: http://arxiv.org/abs/2606.11761v1
- Date: Wed, 10 Jun 2026 07:37:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.345608
- Title: RCAP: Robust, Class-Aware, Probabilistic Dynamic Dataset Pruning
- Title(参考訳): RCAP:ロバスト、クラスアウェア、確率論的動的データセットプルーニング
- Authors: Atif Hassan, Swanand Khare, Jiaul H. Paik,
- Abstract要約: 本稿では,ロバスト,クラスアウェア,確率的動的データセット解析アルゴリズム RCAP を提案する。
RCAPは、最先端のデータセットプルーニング手法を一貫して上回り、すべてのプルーニングレートにおいて、最悪のグループ精度を向上する。
- 参考スコア(独自算出の注目度): 4.215168690973054
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic data pruning techniques aim to reduce computational cost while minimizing information loss by periodically selecting representative subsets of input data during model training. However, existing methods often struggle to maintain strong worst-group accuracy, particularly at high pruning rates, across balanced and imbalanced datasets. To address this challenge, we propose RCAP, a Robust, Class-Aware, Probabilistic dynamic dataset pruning algorithm for classification tasks. RCAP applies a closed-form solution to estimate the fraction of samples to be included in the training subset for each individual class. This fraction is adaptively adjusted in every epoch using class-wise aggregated loss. Thereafter, it employs an adaptive sampling strategy that prioritizes samples having high loss for populating the class-wise subsets. We evaluate RCAP on six diverse datasets ranging from class-balanced to highly imbalanced using five distinct models across three training paradigms: training from scratch, transfer learning, and fine-tuning. Our approach consistently outperforms state-of-the-art dataset pruning methods, achieving superior worst-group accuracy at all pruning rates. Remarkably, with only $10\%$ data, RCAP delivers $>1\%$ improvement in performance on class-imbalanced datasets compared to full data training while providing an average $8.69\times$ speedup. The code can be accessed at https://github.com/atif-hassan/RCAP-dynamic-dataset-pruning
- Abstract(参考訳): 動的データプルーニング技術は、モデルトレーニング中に入力データの代表的なサブセットを定期的に選択することで、情報損失を最小限に抑えながら、計算コストを削減することを目的としている。
しかし、既存の手法は、特に高いプルーニングレートで、バランスの取れたデータセットと不均衡なデータセットをまたいで、強い最悪のグループ精度を維持するのに苦労することが多い。
この課題に対処するために、分類タスクのためのRobust, Class-Aware, Probabilistic dynamic dataset pruningアルゴリズムであるRCPを提案する。
RCAPは、個々のクラスのトレーニングサブセットに含まれるサンプルの分数を推定するために、クローズドフォームのソリューションを適用します。
この分数は、クラスワイド・アグリゲード・ロスを用いて、各エポックにおいて適応的に調整される。
その後、適応的なサンプリング戦略を採用し、クラスワイズサブセットを投入するために、高い損失を持つサンプルを優先順位付けする。
RCAPは、クラスバランスから高バランスの6つのデータセットに対して、スクラッチからのトレーニング、トランスファーラーニング、微調整という3つの訓練パラダイムにまたがる5つの異なるモデルを用いて評価する。
我々の手法は、最先端のデータセットプルーニング手法を一貫して上回り、全てのプルーニングレートで最悪のグループ精度を達成している。
注目すべきは、わずか10\%のデータで、RCAPは、クラス不均衡データセットのパフォーマンスを、完全なデータトレーニングと比較して1\%$改善すると同時に、平均8.69\times$スピードアップを提供する。
コードはhttps://github.com/atif-hassan/RCAP-dynamic-dataset-pruningでアクセスすることができる。
関連論文リスト
- MIRA: Mid-training Rubric Anchoring for Source-Aware Data Selection [59.34281845159177]
我々は,自作ルーブリック発見に基づくソース認識フィルタリングフレームワークであるMIRAを提案する。
21のソースと5つのソースグループを持つコード指向のミッドトレーニングでは、MIRAは9つのコードベンチマークで選択ベースラインを上回っている。
論文 参考訳(メタデータ) (2026-05-28T17:40:40Z) - Optimizing the Training Diet: Data Mixture Search for Robust Time Series Forecasting [0.8665758002017515]
データセットを考える場合、いくつかのケースでは"なしはそれ以上"であることが示されます。
本稿では,大規模・未ラベルの時系列コーパスから最適な「トレーニングダイエット」を発見するための枠組みを提案する。
論文 参考訳(メタデータ) (2025-12-12T13:26:07Z) - DRoP: Distributionally Robust Data Pruning [11.930434318557156]
我々は、訓練されたモデルの分類バイアスにデータプルーニングが与える影響について、最初の系統的研究を行う。
そこで我々はDRoPを提案する。DRoPは,標準的なコンピュータビジョンベンチマークにおいて,その性能を実証的に実証し,分散的に頑健な手法である。
論文 参考訳(メタデータ) (2024-04-08T14:55:35Z) - Efficient Online Data Mixing For Language Model Pre-Training [101.45242332613944]
既存のデータ選択方法は、遅くて計算コストのかかるプロセスに悩まされる。
一方、データミキシングは、データポイントをまとめることで、データ選択の複雑さを低減する。
我々は,データ選択とデータ混合の両要素を組み合わせたオンラインデータ混合(ODM)の効率的なアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-12-05T00:42:35Z) - Revisiting Long-tailed Image Classification: Survey and Benchmarks with
New Evaluation Metrics [88.39382177059747]
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。
ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
論文 参考訳(メタデータ) (2023-02-03T02:40:54Z) - Robust Few-shot Learning Without Using any Adversarial Samples [19.34427461937382]
高度なメタラーニング技術を用いて、数発の問題をロバストネスの目的と組み合わせる試みがいくつかなされている。
逆のサンプルを一切必要としない単純で効果的な代替案を提案する。
ヒトの認知的意思決定プロセスにインスパイアされ、ベースクラスデータとそれに対応する低周波サンプルの高レベル特徴マッチングを強制する。
論文 参考訳(メタデータ) (2022-11-03T05:58:26Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳(メタデータ) (2021-06-14T05:39:09Z) - On the Importance of Adaptive Data Collection for Extremely Imbalanced
Pairwise Tasks [94.23884467360521]
我々は、QQPとWikiQAでトレーニングされた最先端技術モデルが、現実的に不均衡なテストデータで評価された場合、それぞれ平均精度が2.4%しか持たないことを示した。
より有益なネガティブな例でバランスのとれたトレーニングデータを作成することで、アクティブラーニングは平均精度をQQPで32.5%、WikiQAで20.1%に大幅に改善する。
論文 参考訳(メタデータ) (2020-10-10T21:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。