論文の概要: InfoBatch: Lossless Training Speed Up by Unbiased Dynamic Data Pruning
- arxiv url: http://arxiv.org/abs/2303.04947v1
- Date: Wed, 8 Mar 2023 23:40:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 16:40:47.512146
- Title: InfoBatch: Lossless Training Speed Up by Unbiased Dynamic Data Pruning
- Title(参考訳): InfoBatch: ダイナミックデータプルーニングによる損失のないトレーニングスピードアップ
- Authors: Ziheng Qin, Kai Wang, Zangwei Zheng, Jianyang Gu, Xiangyu Peng, Daquan
Zhou and Yang You
- Abstract要約: 我々は、非バイアスの動的データプルーニングにより損失のないトレーニングアクセラレーションを実現するためのフレームワークである textbfInfoBatch を提案する。
具体的には、InfoBatchは損失分布に基づいて、情報の少ないサンプルの一部をランダムにプーンし、残りのサンプルの勾配を再スケールする。
InfoBatchがデータ次元を加速するにつれて、コストやパフォーマンスの低下を伴わずに、大規模バッチトレーニングメソッドを1.3倍高速化する。
- 参考スコア(独自算出の注目度): 13.323280289779328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data pruning aims to obtain lossless performances as training on the original
data with less overall cost. A common approach is to simply filter out samples
that make less contribution to the training. This leads to gradient expectation
bias between the pruned and original data. To solve this problem, we propose
\textbf{InfoBatch}, a novel framework aiming to achieve lossless training
acceleration by unbiased dynamic data pruning. Specifically, InfoBatch randomly
prunes a portion of less informative samples based on the loss distribution and
rescales the gradients of the remaining samples. We train the full data in the
last few epochs to improve the performance of our method, which further reduces
the bias of the total update. As a plug-and-play and architecture-agnostic
framework, InfoBatch consistently obtains lossless training results on
CIFAR-10, CIFAR-100, Tiny-ImageNet, and ImageNet-1K saving 40\%, 33\%, 30\%,
and 26\% overall cost, respectively. We extend InfoBatch into semantic
segmentation task and also achieve lossless mIoU on ADE20K dataset with 20\%
overall cost saving. Last but not least, as InfoBatch accelerates in data
dimension, it further speeds up large-batch training methods (\textit{eg.} LARS
and LAMB) by 1.3 times without extra cost or performance drop. The code will be
made public.
- Abstract(参考訳): データプルーニングは、原データのトレーニングとして、全体的なコストを削減して、損失のないパフォーマンスを得ることを目的としている。
一般的なアプローチは、トレーニングへの貢献が少ないサンプルを単にフィルタリングすることです。
これにより、プルーンドデータとオリジナルデータの間の勾配予測バイアスが生じる。
この問題を解決するために,非バイアスな動的データプルーニングにより損失のないトレーニング加速を実現する新しいフレームワークである「textbf{InfoBatch}」を提案する。
具体的には、InfoBatchは損失分布に基づいて、情報の少ないサンプルの一部をランダムにプーンし、残りのサンプルの勾配を再スケールする。
過去数年間に全データをトレーニングして,メソッドのパフォーマンスを向上させることで,全体の更新のバイアスをさらに軽減しています。
プラグインとアーキテクチャに依存しないフレームワークとしてInfoBatchは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet-1Kで、それぞれ40 %、33 %、30 %、26 %の全体的なコストを節約できる無害なトレーニング結果を得る。
InfoBatchをセマンティックセグメンテーションタスクに拡張するとともに,ADE20Kデータセット上で損失のないmIoUを実現し,全体のコストを20%削減する。
最後に、infobatchがデータ次元を加速すると、さらに大きなバッチトレーニングメソッド(\textit{eg.})が高速化される。
LARSとLAMB)は1.3倍のコストと性能低下を伴わない。
コードは公開されます。
関連論文リスト
- SPEAR:Exact Gradient Inversion of Batches in Federated Learning [6.677219861416146]
フェデレーション・ラーニング(Federated Learning)は、複数のクライアントがローカルデータの勾配アップデートをサーバと共有する、マシンラーニングの一般的なフレームワークである。
グラデーション・インバージョン・アタックは 共有グラデーションから このデータを再構築できる
既存の攻撃は、重要な誠実だが正確な設定で、バッチサイズが$b=1$の場合にのみ正確な再構築を可能にする。
論文 参考訳(メタデータ) (2024-03-06T18:52:39Z) - Effective pruning of web-scale datasets based on complexity of concept
clusters [48.125618324485195]
本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。
高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。
我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
論文 参考訳(メタデータ) (2024-01-09T14:32:24Z) - KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。
我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。
本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
論文 参考訳(メタデータ) (2023-10-16T06:19:29Z) - Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳(メタデータ) (2023-09-29T13:09:40Z) - Towards Understanding and Improving GFlowNet Training [71.85707593318297]
本稿では,学習したサンプリング分布と目標報酬分布を比較するための効率的な評価手法を提案する。
本稿では,高解像度のx$,相対的エッジフローポリシーのパラメータ化,新しい軌道バランス目標を提案する。
論文 参考訳(メタデータ) (2023-05-11T22:50:41Z) - Integral Continual Learning Along the Tangent Vector Field of Tasks [112.02761912526734]
本稿では,特殊データセットからの情報を段階的に組み込んだ軽量連続学習手法を提案する。
ソースデータセットの0.4%まで小さく、小さな固定サイズのメモリバッファを保持しており、単純な再サンプリングによって更新される。
提案手法は,異なるデータセットに対して,様々なバッファサイズで高い性能を実現する。
論文 参考訳(メタデータ) (2022-11-23T16:49:26Z) - An Information-Theoretic Analysis for Transfer Learning: Error Bounds
and Applications [5.081241420920605]
本稿では,伝達学習アルゴリズムの一般化誤差と過剰リスクに関する情報理論解析を行う。
我々の結果は、おそらく予想通り、Kulback-Leiblerの発散$D(mu||mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。
そこで本研究では,ソースデータとターゲットデータの重み付けを適応的に調整するInfoBoostアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-07-12T08:20:41Z) - Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data [17.7825114228313]
破損したラベルとクラス不均衡は、実際に収集されたトレーニングデータでよく見られる。
既存のアプローチは、サンプルの再重み付け戦略を採用することで、これらの問題を緩和します。
しかし、ラベルが破損したサンプルと、訓練データに一般的に共存する尾のクラスは偏りがあった。
論文 参考訳(メタデータ) (2021-12-30T09:20:07Z) - Chasing Sparsity in Vision Transformers: An End-to-End Exploration [127.10054032751714]
ビジョン・トランスフォーマー(ViT)は最近爆発的な人気を博したが、その巨大なモデルサイズとトレーニングコストは依然として大きなものだ。
本稿では、達成可能な精度を犠牲にすることなく、トレーニングメモリのオーバーヘッドと推論の複雑さの両方を削減することを目的とする。
具体的には、完全なViTをトレーニングする代わりに、固定された小さなパラメータ予算に固執しながら、スパースワークを動的に抽出し、訓練する。
論文 参考訳(メタデータ) (2021-06-08T17:18:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。