論文の概要: Lightweight Dataset Pruning without Full Training via Example Difficulty and Prediction Uncertainty

• arxiv url: http://arxiv.org/abs/2502.06905v1
• Date: Mon, 10 Feb 2025 01:18:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:30.416918
• Title: Lightweight Dataset Pruning without Full Training via Example Difficulty and Prediction Uncertainty
• Title（参考訳）: 実例難易度と予測不確かさによるフルトレーニングなし軽量データセットプルーニング
• Authors: Yeseul Cho, Baekrok Shin, Changmin Kang, Chulhee Yun,
• Abstract要約: 早期のトレーニング段階から重要なサンプルを特定するために,難易度と不確実性を考慮した軽量度スコア(DUAL)を導入する。 また, 極端破砕時の破滅的精度低下に対処するために, ベータ分布を用いた比適応サンプリングを提案する。
• 参考スコア（独自算出の注目度）: 9.749638953163391
• License:
• Abstract: Recent advances in deep learning rely heavily on massive datasets, leading to substantial storage and training costs. Dataset pruning aims to alleviate this demand by discarding redundant examples. However, many existing methods require training a model with a full dataset over a large number of epochs before being able to prune the dataset, which ironically makes the pruning process more expensive than just training the model on the entire dataset. To overcome this limitation, we introduce a Difficulty and Uncertainty-Aware Lightweight (DUAL) score, which aims to identify important samples from the early training stage by considering both example difficulty and prediction uncertainty. To address a catastrophic accuracy drop at an extreme pruning, we further propose a ratio-adaptive sampling using Beta distribution. Experiments on various datasets and learning scenarios such as image classification with label noise and image corruption, and model architecture generalization demonstrate the superiority of our method over previous state-of-the-art (SOTA) approaches. Specifically, on ImageNet-1k, our method reduces the time cost for pruning to 66% compared to previous methods while achieving a SOTA, specifically 60% test accuracy at a 90% pruning ratio. On CIFAR datasets, the time cost is reduced to just 15% while maintaining SOTA performance.
• Abstract（参考訳）: ディープラーニングの最近の進歩は、大量のデータセットに大きく依存しており、かなりのストレージとトレーニングコストをもたらしている。 データセットプルーニングは、冗長な例を捨てることで、この需要を軽減することを目的としている。 しかし、既存の多くのメソッドでは、データセットをプルークする前に、多数のエポックに対して完全なデータセットでモデルをトレーニングする必要があります。 この制限を克服するために,初期のトレーニング段階から重要なサンプルを抽出し,サンプルの難易度と予測の不確かさを両立させることを目的として,Difficulty and Uncertainty-Aware Lightweight (DUAL)スコアを導入した。 極端刈り込み時の破滅的精度低下に対処するため,ベータ分布を用いた比適応サンプリングを提案する。 ラベルノイズや画像劣化を伴う画像分類やモデルアーキテクチャの一般化など,さまざまなデータセットや学習シナリオの実験は,従来のSOTA(State-of-the-art)アプローチよりも,我々の手法の優位性を実証している。 具体的には、ImageNet-1kでは、従来の方法に比べて66%の時間コスト削減を実現しつつ、特に90%のプルーニング率でテスト精度の60%を達成している。 CIFARデータセットでは、SOTA性能を維持しながら、時間コストを15%に削減する。

関連論文リスト

• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• A Study in Dataset Pruning for Image Super-Resolution [9.512648704408095]
  損失値に基づいて選択したトレーニングサンプルのコアセットにデータセットを還元する,新たなアプローチを導入する。 データセット全体のトレーニングで得られた結果に匹敵する、あるいは上回る結果が得られます。
  論文  参考訳（メタデータ） (2024-03-25T18:16:34Z)
• Exploring Learning Complexity for Efficient Downstream Dataset Pruning [8.990878450631596]
  既存のデータセットプルーニングメソッドでは、データセット全体のトレーニングが必要になる。 本稿では、DLC(Distorting-based Learning Complexity)という、単純で、新規で、トレーニング不要な難易度スコアを提案する。 本手法は,より高速に学習できるサンプルを少ないパラメータで学習できるという観察結果に動機付けられている。
  論文  参考訳（メタデータ） (2024-02-08T02:29:33Z)
• Spanning Training Progress: Temporal Dual-Depth Scoring (TDDS) for Enhanced Dataset Pruning [50.809769498312434]
  我々は、時間的デュアルディープス・スコーリング(TDDS)と呼ばれる新しいデータセット・プルーニング手法を提案する。 本手法は,10%のトレーニングデータで54.51%の精度を達成し,ランダム選択を7.83%以上,他の比較手法を12.69%以上上回る結果を得た。
  論文  参考訳（メタデータ） (2023-11-22T03:45:30Z)
• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• Large-scale Dataset Pruning with Dynamic Uncertainty [28.60845105174658]
  画像分類などの多くの学習タスクの最先端技術は、より大きなデータセットを収集して、より大きなモデルをトレーニングすることによって進歩している。 本稿では,大規模データセットの創出方法について検討し,非無視的な性能低下を伴う高度な深層モデルのトレーニングを行うための情報サブセットを作成する。
  論文  参考訳（メタデータ） (2023-06-08T13:14:35Z)
• Repeated Random Sampling for Minimizing the Time-to-Accuracy of Learning [28.042568086423298]
  ランダム・サブセットの繰り返しサンプリング(RS2)は、強力だが見落とされたランダムサンプリング戦略である。 我々は、ImageNetを含む4つのデータセットにわたる30の最先端データプルーニングとデータ蒸留法に対してRS2をテストする。 その結果,RS2は既存の手法に比べて時間と精度を著しく低下させることがわかった。
  論文  参考訳（メタデータ） (2023-05-28T20:38:13Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• On Measuring the Intrinsic Few-Shot Hardness of Datasets [49.37562545777455]
  トレーニング済みのモデルに対して、データセットに固有の数ショットの硬さを示す。 そこで我々は,数発の学習が可能な直感をとらえる,シンプルで軽量な尺度"Spread"を提案する。 我々の測定基準は、既存の硬さの概念に比べて数発の硬さを考慮し、計算が8～100倍高速である。
  論文  参考訳（メタデータ） (2022-11-16T18:53:52Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。