論文の概要: ReDistill: Residual Encoded Distillation for Peak Memory Reduction

• arxiv url: http://arxiv.org/abs/2406.03744v2
• Date: Fri, 7 Jun 2024 03:26:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 12:43:28.539718
• Title: ReDistill: Residual Encoded Distillation for Peak Memory Reduction
• Title（参考訳）: ReDistill: ピークメモリ削減のための残留エンコード蒸留
• Authors: Fang Chen, Gourav Datta, Mujahid Al Rafi, Hyeran Jeon, Meng Tang,
• Abstract要約: 教師・学生の枠組みにおけるピークメモリ削減のための残差符号化蒸留(ReDistill)を提案する。 画像分類では、ほとんどのCNNアーキテクチャにおいて、エッジGPU上で2x-3.2xのピークメモリを出力し、精度の劣化を無視できる。 拡散に基づく画像生成では, 提案手法により, 4倍低い理論ピークメモリを有するデノナイジングネットワークが得られる。
• 参考スコア（独自算出の注目度）: 5.532610278442954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The expansion of neural network sizes and the enhancement of image resolution through modern camera sensors result in heightened memory and power demands for neural networks. Reducing peak memory, which is the maximum memory consumed during the execution of a neural network, is critical to deploy neural networks on edge devices with limited memory budget. A naive approach to reducing peak memory is aggressive down-sampling of feature maps via pooling with large stride, which often results in unacceptable degradation in network performance. To mitigate this problem, we propose residual encoded distillation (ReDistill) for peak memory reduction in a teacher-student framework, in which a student network with less memory is derived from the teacher network using aggressive pooling. We apply our distillation method to multiple problems in computer vision including image classification and diffusion based image generation. For image classification, our method yields 2x-3.2x measured peak memory on an edge GPU with negligible degradation in accuracy for most CNN based architectures. Additionally, our method yields improved test accuracy for tiny vision transformer (ViT) based models distilled from large CNN based teacher architectures. For diffusion-based image generation, our proposed distillation method yields a denoising network with 4x lower theoretical peak memory while maintaining decent diversity and fidelity for image generation. Experiments demonstrate our method's superior performance compared to other feature-based and response-based distillation methods.
• Abstract（参考訳）: ニューラルネットワークサイズの拡大と、現代のカメラセンサーによる画像解像度の向上により、ニューラルネットワークのメモリと電力需要が増大する。 ニューラルネットワークの実行中に消費される最大メモリであるピークメモリの削減は、限られたメモリ予算でエッジデバイスにニューラルネットワークをデプロイすることが重要である。 ピークメモリの削減に対する単純なアプローチは、大きなストライドでプールする機能マップのアグレッシブなダウンサンプリングであり、しばしばネットワーク性能の低下を招く。 そこで,本研究では,教師の学習者ネットワークから学習者ネットワークをアグレッシブプール方式で抽出し,学習者間のピークメモリ削減のための残差符号化蒸留(ReDistill)を提案する。 我々は,画像分類や拡散に基づく画像生成を含むコンピュータビジョンにおける複数の問題に対して蒸留法を適用した。 画像分類では、ほとんどのCNNアーキテクチャにおいて、エッジGPU上で2x-3.2xのピークメモリを出力し、精度の劣化を無視できる。 さらに,本手法は,大規模なCNNベースの教師アーキテクチャから抽出した小型視覚変換器(ViT)を用いたモデルの精度向上を実現する。 拡散型画像生成では, 提案手法により, 画像生成の多様性と忠実性を維持しつつ, 4倍低い理論的ピークメモリを有するデノナイジングネットワークが得られる。 提案手法は,他の特徴量および応答量に基づく蒸留法と比較して優れた性能を示す。

関連論文リスト

• Image edge enhancement for effective image classification [7.470763273994321]
  ニューラルネットワークの精度とトレーニング速度を両立させるエッジ拡張に基づく手法を提案する。 我々のアプローチは、利用可能なデータセット内の画像からエッジなどの高周波特徴を抽出し、元の画像と融合させることである。
  論文  参考訳（メタデータ） (2024-01-13T10:01:34Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• MEIL-NeRF: Memory-Efficient Incremental Learning of Neural Radiance Fields [49.68916478541697]
  我々は、NeRF(MEIL-NeRF)のためのメモリ効率の良いインクリメンタル学習アルゴリズムを開発した。 MEIL-NeRFはNeRF自体からインスピレーションを得て、ニューラルネットワークがクエリとして与えられたピクセルRGB値を提供するメモリとして機能する。 その結果、MEIL-NeRFはメモリ消費と競合性能を一定に示すことができた。
  論文  参考訳（メタデータ） (2022-12-16T08:04:56Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Binary Neural Networks for Memory-Efficient and Effective Visual Place Recognition in Changing Environments [24.674034243725455]
  視覚的場所認識(VPR)は、視覚データを用いて、ある場所が訪れたかどうかを判断するロボットの能力である。 CNNベースのアプローチは、小さなロボットやドローンのようなリソース制約のあるプラットフォームには適さない。 本稿では,メモリ要求と計算労力を大幅に削減する,超コンパクトモデルの新たなクラスを提案する。
  論文  参考訳（メタデータ） (2020-10-01T22:59:34Z)
• Deep Artifact-Free Residual Network for Single Image Super-Resolution [0.2399911126932526]
  本研究では,残差学習の利点と,地中構造像を目標として用いることの利点を活かしたDAFR(Deep Artifact-Free Residual)ネットワークを提案する。 我々のフレームワークは、高品質な画像再構成に必要な高周波情報を抽出するために、ディープモデルを用いている。 実験の結果,提案手法は既存の手法に比べて定量的,定性的な画像品質を実現することがわかった。
  論文  参考訳（メタデータ） (2020-09-25T20:53:55Z)
• Neural Sparse Representation for Image Restoration [116.72107034624344]
  スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。 本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。 実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
  論文  参考訳（メタデータ） (2020-06-08T05:15:17Z)
• Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection [21.48875255723581]
  ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。 典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
  論文  参考訳（メタデータ） (2019-12-29T14:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。