論文の概要: InfoBatch: Lossless Training Speed Up by Unbiased Dynamic Data Pruning

• arxiv url: http://arxiv.org/abs/2303.04947v1
• Date: Wed, 8 Mar 2023 23:40:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 16:40:47.512146
• Title: InfoBatch: Lossless Training Speed Up by Unbiased Dynamic Data Pruning
• Title（参考訳）: InfoBatch: ダイナミックデータプルーニングによる損失のないトレーニングスピードアップ
• Authors: Ziheng Qin, Kai Wang, Zangwei Zheng, Jianyang Gu, Xiangyu Peng, Daquan Zhou and Yang You
• Abstract要約: 我々は、非バイアスの動的データプルーニングにより損失のないトレーニングアクセラレーションを実現するためのフレームワークである textbfInfoBatch を提案する。 具体的には、InfoBatchは損失分布に基づいて、情報の少ないサンプルの一部をランダムにプーンし、残りのサンプルの勾配を再スケールする。 InfoBatchがデータ次元を加速するにつれて、コストやパフォーマンスの低下を伴わずに、大規模バッチトレーニングメソッドを1.3倍高速化する。
• 参考スコア（独自算出の注目度）: 13.323280289779328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data pruning aims to obtain lossless performances as training on the original data with less overall cost. A common approach is to simply filter out samples that make less contribution to the training. This leads to gradient expectation bias between the pruned and original data. To solve this problem, we propose \textbf{InfoBatch}, a novel framework aiming to achieve lossless training acceleration by unbiased dynamic data pruning. Specifically, InfoBatch randomly prunes a portion of less informative samples based on the loss distribution and rescales the gradients of the remaining samples. We train the full data in the last few epochs to improve the performance of our method, which further reduces the bias of the total update. As a plug-and-play and architecture-agnostic framework, InfoBatch consistently obtains lossless training results on CIFAR-10, CIFAR-100, Tiny-ImageNet, and ImageNet-1K saving 40\%, 33\%, 30\%, and 26\% overall cost, respectively. We extend InfoBatch into semantic segmentation task and also achieve lossless mIoU on ADE20K dataset with 20\% overall cost saving. Last but not least, as InfoBatch accelerates in data dimension, it further speeds up large-batch training methods (\textit{eg.} LARS and LAMB) by 1.3 times without extra cost or performance drop. The code will be made public.
• Abstract（参考訳）: データプルーニングは、原データのトレーニングとして、全体的なコストを削減して、損失のないパフォーマンスを得ることを目的としている。 一般的なアプローチは、トレーニングへの貢献が少ないサンプルを単にフィルタリングすることです。 これにより、プルーンドデータとオリジナルデータの間の勾配予測バイアスが生じる。 この問題を解決するために,非バイアスな動的データプルーニングにより損失のないトレーニング加速を実現する新しいフレームワークである「textbf{InfoBatch}」を提案する。 具体的には、InfoBatchは損失分布に基づいて、情報の少ないサンプルの一部をランダムにプーンし、残りのサンプルの勾配を再スケールする。 過去数年間に全データをトレーニングして,メソッドのパフォーマンスを向上させることで,全体の更新のバイアスをさらに軽減しています。 プラグインとアーキテクチャに依存しないフレームワークとしてInfoBatchは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet-1Kで、それぞれ40 %、33 %、30 %、26 %の全体的なコストを節約できる無害なトレーニング結果を得る。 InfoBatchをセマンティックセグメンテーションタスクに拡張するとともに,ADE20Kデータセット上で損失のないmIoUを実現し,全体のコストを20%削減する。 最後に、infobatchがデータ次元を加速すると、さらに大きなバッチトレーニングメソッド(\textit{eg.})が高速化される。 LARSとLAMB)は1.3倍のコストと性能低下を伴わない。 コードは公開されます。

関連論文リスト

• FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training [51.39495282347475]
  我々は、新しいメモリ効率最適化フレームワークであるtextbfF$ull-$textbfR$ank $textbfU$pdates with $textbfG$r$textbfA$dient sp$textbfL$ittingを紹介します。 当社のフレームワークは,GaLoreやBAdamなど,さまざまな低ランク更新選択技術と統合することが可能です。
  論文  参考訳（メタデータ） (2024-11-12T14:41:07Z)
• Exploring Learning Complexity for Efficient Downstream Dataset Pruning [8.990878450631596]
  既存のデータセットプルーニングメソッドでは、データセット全体のトレーニングが必要になる。 本稿では、DLC(Distorting-based Learning Complexity)という、単純で、新規で、トレーニング不要な難易度スコアを提案する。 本手法は,より高速に学習できるサンプルを少ないパラメータで学習できるという観察結果に動機付けられている。
  論文  参考訳（メタデータ） (2024-02-08T02:29:33Z)
• Effective pruning of web-scale datasets based on complexity of concept clusters [48.125618324485195]
  本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。 高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。 我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
  論文  参考訳（メタデータ） (2024-01-09T14:32:24Z)
• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• Towards Understanding and Improving GFlowNet Training [71.85707593318297]
  本稿では,学習したサンプリング分布と目標報酬分布を比較するための効率的な評価手法を提案する。 本稿では,高解像度のx$,相対的エッジフローポリシーのパラメータ化,新しい軌道バランス目標を提案する。
  論文  参考訳（メタデータ） (2023-05-11T22:50:41Z)
• Integral Continual Learning Along the Tangent Vector Field of Tasks [112.02761912526734]
  本稿では,特殊データセットからの情報を段階的に組み込んだ軽量連続学習手法を提案する。 ソースデータセットの0.4%まで小さく、小さな固定サイズのメモリバッファを保持しており、単純な再サンプリングによって更新される。 提案手法は,異なるデータセットに対して,様々なバッファサイズで高い性能を実現する。
  論文  参考訳（メタデータ） (2022-11-23T16:49:26Z)
• Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data [17.7825114228313]
  破損したラベルとクラス不均衡は、実際に収集されたトレーニングデータでよく見られる。 既存のアプローチは、サンプルの再重み付け戦略を採用することで、これらの問題を緩和します。 しかし、ラベルが破損したサンプルと、訓練データに一般的に共存する尾のクラスは偏りがあった。
  論文  参考訳（メタデータ） (2021-12-30T09:20:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。