論文の概要: L3: Accelerator-Friendly Lossless Image Format for High-Resolution,
High-Throughput DNN Training
- arxiv url: http://arxiv.org/abs/2208.08711v1
- Date: Thu, 18 Aug 2022 08:53:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-19 13:39:47.920945
- Title: L3: Accelerator-Friendly Lossless Image Format for High-Resolution,
High-Throughput DNN Training
- Title(参考訳): L3:高分解能高速DNNトレーニングのためのアクセラレータフレンドリーなロスレス画像フォーマット
- Authors: Jonghyun Bae, Woohyeon Baek, Tae Jun Ham, Jae W. Lee
- Abstract要約: 高解像度でロスレスに符号化されたデータセットは、高い精度を必要とするアプリケーションでより人気がある。
我々は、高解像度で高スループットのディープニューラルネットワーク(DNN)トレーニングのための、カスタム軽量でロスレスな画像フォーマットであるL3を提案する。
L3はNVIDIA A100 GPU上のCityscapesデータセットのPNGよりも9.29倍高いデータ準備スループットを実現している。
- 参考スコア(独自算出の注目度): 3.9113852186157803
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The training process of deep neural networks (DNNs) is usually pipelined with
stages for data preparation on CPUs followed by gradient computation on
accelerators like GPUs. In an ideal pipeline, the end-to-end training
throughput is eventually limited by the throughput of the accelerator, not by
that of data preparation. In the past, the DNN training pipeline achieved a
near-optimal throughput by utilizing datasets encoded with a lightweight, lossy
image format like JPEG. However, as high-resolution, losslessly-encoded
datasets become more popular for applications requiring high accuracy, a
performance problem arises in the data preparation stage due to low-throughput
image decoding on the CPU. Thus, we propose L3, a custom lightweight, lossless
image format for high-resolution, high-throughput DNN training. The decoding
process of L3 is effectively parallelized on the accelerator, thus minimizing
CPU intervention for data preparation during DNN training. L3 achieves a 9.29x
higher data preparation throughput than PNG, the most popular lossless image
format, for the Cityscapes dataset on NVIDIA A100 GPU, which leads to 1.71x
higher end-to-end training throughput. Compared to JPEG and WebP, two popular
lossy image formats, L3 provides up to 1.77x and 2.87x higher end-to-end
training throughput for ImageNet, respectively, at equivalent metric
performance.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)のトレーニングプロセスは通常、CPU上でのデータ準備のステージと、GPUのようなアクセラレータ上での勾配計算によってパイプラインされる。
理想的なパイプラインでは、エンドツーエンドのトレーニングスループットは最終的に、データ準備のスループットではなく、アクセラレータのスループットによって制限される。
これまでDNNトレーニングパイプラインは、JPEGのような軽量で損失の多いイメージフォーマットでエンコードされたデータセットを利用することで、ほぼ最適スループットを達成した。
しかし、高精度でロスレスに符号化されたデータセットが、高い精度を必要とするアプリケーションに普及するにつれて、CPU上の低スループット画像復号化によるデータ準備段階での性能問題が発生する。
そこで本稿では,高解像度で高スループットなDNNトレーニングを実現するために,L3を提案する。
L3の復号処理は、アクセラレータ上で効果的に並列化され、DNNトレーニング中のデータ準備のためのCPU介入を最小化する。
L3は、NVIDIA A100 GPU上のCityscapesデータセットにおいて、最も人気のあるロスレスイメージフォーマットであるPNGよりも9.29倍高いデータ準備スループットを実現している。
JPEGとWebPの2つの人気の損失画像フォーマットと比較して、L3はImageNetの最大1.77倍と2.87倍のエンドツーエンドのトレーニングスループットを同等のパフォーマンスで提供する。
関連論文リスト
- CNNs for JPEGs: A Study in Computational Cost [45.74830585715129]
畳み込みニューラルネットワーク(CNN)は過去10年間で驚くべき進歩を遂げてきた。
CNNはRGBピクセルから直接データの堅牢な表現を学習することができる。
近年,圧縮領域から直接学習できる深層学習手法が注目されている。
論文 参考訳(メタデータ) (2023-09-20T15:49:38Z) - Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳(メタデータ) (2023-08-21T07:24:29Z) - Rapid-INR: Storage Efficient CPU-free DNN Training Using Implicit Neural
Representation [8.236360727616127]
Implicit Neural Representation (INR) は、複雑な形状や物体を、その形状や表面構造を明確に定義せずに表現するための革新的なアプローチである。
従来の研究では、画像圧縮のINRとしてニューラルネットワークを使用することの有効性が実証されており、JPEGのような従来の手法に匹敵する性能を示している。
本稿では、画像のエンコーディングと圧縮にINRを利用する新しいアプローチであるRapid-INRを紹介し、コンピュータビジョンタスクにおけるニューラルネットワークトレーニングを高速化する。
論文 参考訳(メタデータ) (2023-06-29T05:49:07Z) - GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。
これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。
我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文 参考訳(メタデータ) (2022-07-18T06:01:29Z) - Memory Efficient Meta-Learning with Large Images [62.70515410249566]
数ショットの分類に対するメタ学習アプローチは、新しいタスクを学ぶために、ほんの数ステップの最適化やシングルフォワードパスを必要とするテスト時に計算的に効率的である。
この制限は、最大1000のイメージを含むタスクの全体サポートセットが、最適化ステップを取る前に処理されなければならないために生じる。
本稿では,1つのGPU上の大容量画像からなる大規模タスクのメタトレーニングを可能にする,汎用的でメモリ効率の良いエピソード・トレーニング手法であるLITEを提案する。
論文 参考訳(メタデータ) (2021-07-02T14:37:13Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2021-06-18T03:11:15Z) - Less is More: Accelerating Faster Neural Networks Straight from JPEG [1.9214041945441434]
JPEG圧縮データ処理のための畳み込みニューラルネットワークの高速化方法を示す。
学習戦略を活用し、DCT入力をフル活用し、計算の複雑さを低減します。
その結果、データ駆動方式で全てのdct入力を組み合わせる方法を学ぶことは、手で捨てるよりも優れていることがわかった。
論文 参考訳(メタデータ) (2021-04-01T01:21:24Z) - Low-Fidelity End-to-End Video Encoder Pre-training for Temporal Action
Localization [96.73647162960842]
TALはビデオ理解の基本的な課題だが、難しい課題だ。
既存のtalメソッドは、アクション分類の監督を通じてビデオエンコーダを事前トレーニングする。
本稿では,ローファイダリティ・エンド・ツー・エンド(LoFi)ビデオエンコーダの事前学習手法を提案する。
論文 参考訳(メタデータ) (2021-03-28T22:18:14Z) - CNNs for JPEGs: A Study in Computational Cost [49.97673761305336]
畳み込みニューラルネットワーク(CNN)は過去10年間で驚くべき進歩を遂げてきた。
CNNはRGBピクセルから直接データの堅牢な表現を学習することができる。
近年,圧縮領域から直接学習できる深層学習手法が注目されている。
論文 参考訳(メタデータ) (2020-12-26T15:00:10Z) - DeepFLASH: An Efficient Network for Learning-based Medical Image
Registration [8.781861951759948]
DeepFLASHは、学習に基づく医用画像登録のための効率的なトレーニングと推論を行う新しいネットワークである。
我々は2次元合成データと3次元実脳磁気共鳴(MR)画像の2つの異なる画像登録法でアルゴリズムを実証した。
論文 参考訳(メタデータ) (2020-04-05T05:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。