論文の概要: InfoBatch: Lossless Training Speed Up by Unbiased Dynamic Data Pruning

• arxiv url: http://arxiv.org/abs/2303.04947v2
• Date: Fri, 20 Oct 2023 04:38:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 13:07:11.888444
• Title: InfoBatch: Lossless Training Speed Up by Unbiased Dynamic Data Pruning
• Title（参考訳）: InfoBatch: ダイナミックデータプルーニングによる損失のないトレーニングスピードアップ
• Authors: Ziheng Qin, Kai Wang, Zangwei Zheng, Jianyang Gu, Xiangyu Peng, Zhaopan Xu, Daquan Zhou, Lei Shang, Baigui Sun, Xuansong Xie and Yang You
• Abstract要約: 我々は、非バイアスの動的データプルーニングにより損失のないトレーニングアクセラレーションを実現するためのフレームワークである textbfInfoBatch を提案する。 プラグイン・アンド・プレイのフレームワークとしてInfoBatchは一貫して、分類、セマンティックセグメンテーション、視覚関連、微調整タスクのトレーニング結果を取得する。 LLaMA命令の微調整では、InfoBatchは20%のコストを節約でき、コアセットの選択メソッドと互換性がある。
• 参考スコア（独自算出の注目度）: 37.36583272231659
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data pruning aims to obtain lossless performances with less overall cost. A common approach is to filter out samples that make less contribution to the training. This could lead to gradient expectation bias compared to the original data. To solve this problem, we propose \textbf{InfoBatch}, a novel framework aiming to achieve lossless training acceleration by unbiased dynamic data pruning. Specifically, InfoBatch randomly prunes a portion of less informative samples based on the loss distribution and rescales the gradients of the remaining samples to approximate the original gradient. As a plug-and-play and architecture-agnostic framework, InfoBatch consistently obtains lossless training results on classification, semantic segmentation, vision pertaining, and instruction fine-tuning tasks. On CIFAR10/100, ImageNet-1K, and ADE20K, InfoBatch losslessly saves 40\% overall cost. For pertaining MAE and diffusion model, InfoBatch can respectively save 24.8\% and 27\% cost. For LLaMA instruction fine-tuning, InfoBatch is also able to save 20\% cost and is compatible with coreset selection methods. The code is publicly available at \href{https://github.com/henryqin1997/InfoBatch}{github.com/NUS-HPC-AI-Lab/InfoBatch}.
• Abstract（参考訳）: データプルーニング(data pruning)は、全体的なコスト低減によるロスレスパフォーマンスの獲得を目標とする。 一般的なアプローチは、トレーニングへの貢献が少ないサンプルをフィルタリングすることです。 これは、元のデータと比べて勾配の予測バイアスにつながる可能性がある。 この問題を解決するために,非バイアスな動的データプルーニングにより損失のないトレーニング加速を実現する新しいフレームワークである「textbf{InfoBatch}」を提案する。 具体的には、InfoBatchは損失分布に基づいて、情報の少ないサンプルの一部をランダムにプーンし、残りのサンプルの勾配を再スケールして元の勾配を近似する。 プラグインとアーキテクチャに依存しないフレームワークであるInfoBatchは、分類、セマンティックセグメンテーション、視覚関連、微調整タスクに関する無意味なトレーニング結果を一貫して得る。 CIFAR10/100、ImageNet-1K、ADE20Kでは、InfoBatchは損失なく全体の40%のコストを節約します。 MAE と拡散モデルに関して、InfoBatch はそれぞれ 24.8 % と 27 % のコストを節約できる。 LLaMA命令の微調整では、InfoBatchは20\%のコストを節約でき、コアセットの選択メソッドと互換性がある。 コードは \href{https://github.com/henryqin 1997/InfoBatch}{github.com/NUS-HPC-AI-Lab/InfoBatch} で公開されている。

関連論文リスト

• FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training [51.39495282347475]
  我々は、新しいメモリ効率最適化フレームワークであるtextbfF$ull-$textbfR$ank $textbfU$pdates with $textbfG$r$textbfA$dient sp$textbfL$ittingを紹介します。 当社のフレームワークは,GaLoreやBAdamなど,さまざまな低ランク更新選択技術と統合することが可能です。
  論文  参考訳（メタデータ） (2024-11-12T14:41:07Z)
• Exploring Learning Complexity for Efficient Downstream Dataset Pruning [8.990878450631596]
  既存のデータセットプルーニングメソッドでは、データセット全体のトレーニングが必要になる。 本稿では、DLC(Distorting-based Learning Complexity)という、単純で、新規で、トレーニング不要な難易度スコアを提案する。 本手法は,より高速に学習できるサンプルを少ないパラメータで学習できるという観察結果に動機付けられている。
  論文  参考訳（メタデータ） (2024-02-08T02:29:33Z)
• Effective pruning of web-scale datasets based on complexity of concept clusters [48.125618324485195]
  本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。 高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。 我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
  論文  参考訳（メタデータ） (2024-01-09T14:32:24Z)
• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• Towards Understanding and Improving GFlowNet Training [71.85707593318297]
  本稿では,学習したサンプリング分布と目標報酬分布を比較するための効率的な評価手法を提案する。 本稿では,高解像度のx$,相対的エッジフローポリシーのパラメータ化,新しい軌道バランス目標を提案する。
  論文  参考訳（メタデータ） (2023-05-11T22:50:41Z)
• Integral Continual Learning Along the Tangent Vector Field of Tasks [112.02761912526734]
  本稿では,特殊データセットからの情報を段階的に組み込んだ軽量連続学習手法を提案する。 ソースデータセットの0.4%まで小さく、小さな固定サイズのメモリバッファを保持しており、単純な再サンプリングによって更新される。 提案手法は,異なるデータセットに対して,様々なバッファサイズで高い性能を実現する。
  論文  参考訳（メタデータ） (2022-11-23T16:49:26Z)
• Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data [17.7825114228313]
  破損したラベルとクラス不均衡は、実際に収集されたトレーニングデータでよく見られる。 既存のアプローチは、サンプルの再重み付け戦略を採用することで、これらの問題を緩和します。 しかし、ラベルが破損したサンプルと、訓練データに一般的に共存する尾のクラスは偏りがあった。
  論文  参考訳（メタデータ） (2021-12-30T09:20:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。