論文の概要: ReDistill: Residual Encoded Distillation for Peak Memory Reduction

• arxiv url: http://arxiv.org/abs/2406.03744v2
• Date: Fri, 7 Jun 2024 03:26:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-10 12:43:28.539718
• Title: ReDistill: Residual Encoded Distillation for Peak Memory Reduction
• Title（参考訳）: ReDistill: ピークメモリ削減のための残留エンコード蒸留
• Authors: Fang Chen, Gourav Datta, Mujahid Al Rafi, Hyeran Jeon, Meng Tang,
• Abstract要約: 教師・学生の枠組みにおけるピークメモリ削減のための残差符号化蒸留(ReDistill)を提案する。 画像分類では、ほとんどのCNNアーキテクチャにおいて、エッジGPU上で2x-3.2xのピークメモリを出力し、精度の劣化を無視できる。 拡散に基づく画像生成では, 提案手法により, 4倍低い理論ピークメモリを有するデノナイジングネットワークが得られる。
• 参考スコア（独自算出の注目度）: 5.532610278442954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The expansion of neural network sizes and the enhancement of image resolution through modern camera sensors result in heightened memory and power demands for neural networks. Reducing peak memory, which is the maximum memory consumed during the execution of a neural network, is critical to deploy neural networks on edge devices with limited memory budget. A naive approach to reducing peak memory is aggressive down-sampling of feature maps via pooling with large stride, which often results in unacceptable degradation in network performance. To mitigate this problem, we propose residual encoded distillation (ReDistill) for peak memory reduction in a teacher-student framework, in which a student network with less memory is derived from the teacher network using aggressive pooling. We apply our distillation method to multiple problems in computer vision including image classification and diffusion based image generation. For image classification, our method yields 2x-3.2x measured peak memory on an edge GPU with negligible degradation in accuracy for most CNN based architectures. Additionally, our method yields improved test accuracy for tiny vision transformer (ViT) based models distilled from large CNN based teacher architectures. For diffusion-based image generation, our proposed distillation method yields a denoising network with 4x lower theoretical peak memory while maintaining decent diversity and fidelity for image generation. Experiments demonstrate our method's superior performance compared to other feature-based and response-based distillation methods.
• Abstract（参考訳）: ニューラルネットワークサイズの拡大と、現代のカメラセンサーによる画像解像度の向上により、ニューラルネットワークのメモリと電力需要が増大する。 ニューラルネットワークの実行中に消費される最大メモリであるピークメモリの削減は、限られたメモリ予算でエッジデバイスにニューラルネットワークをデプロイすることが重要である。 ピークメモリの削減に対する単純なアプローチは、大きなストライドでプールする機能マップのアグレッシブなダウンサンプリングであり、しばしばネットワーク性能の低下を招く。 そこで,本研究では,教師の学習者ネットワークから学習者ネットワークをアグレッシブプール方式で抽出し,学習者間のピークメモリ削減のための残差符号化蒸留(ReDistill)を提案する。 我々は,画像分類や拡散に基づく画像生成を含むコンピュータビジョンにおける複数の問題に対して蒸留法を適用した。 画像分類では、ほとんどのCNNアーキテクチャにおいて、エッジGPU上で2x-3.2xのピークメモリを出力し、精度の劣化を無視できる。 さらに,本手法は,大規模なCNNベースの教師アーキテクチャから抽出した小型視覚変換器(ViT)を用いたモデルの精度向上を実現する。 拡散型画像生成では, 提案手法により, 画像生成の多様性と忠実性を維持しつつ, 4倍低い理論的ピークメモリを有するデノナイジングネットワークが得られる。 提案手法は,他の特徴量および応答量に基づく蒸留法と比較して優れた性能を示す。

関連論文リスト

• Multi-Scale Invertible Neural Network for Wide-Range Variable-Rate Learned Image Compression [90.59962443790593]
  本稿では,制限を克服するために,可逆変換に基づく可変レート画像圧縮モデルを提案する。 具体的には、入力画像をマルチスケールの潜在表現にマッピングする、軽量なマルチスケール非可逆ニューラルネットワークを設計する。 実験結果から,提案手法は既存の可変レート法と比較して最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-03-27T09:08:39Z)
• UniCoRN: Latent Diffusion-based Unified Controllable Image Restoration Network across Multiple Degradations [4.892790389883125]
  複数種類の劣化を同時に処理できる統一画像復元手法UniCoRNを提案する。 具体的には、制御可能な拡散モデルを導く際に、画像から抽出した低レベルの視覚的手がかりの可能性を明らかにする。 MetaRestoreも導入しています。MetaRestoreは、複数の劣化やアーティファクトの画像を含むメタレンスイメージングベンチマークです。
  論文  参考訳（メタデータ） (2025-03-20T05:42:13Z)
• Hollowed Net for On-Device Personalization of Text-to-Image Diffusion Models [51.3915762595891]
  本稿では、デバイス上での主観的生成のための効率的なLoRAに基づくパーソナライズ手法を提案する。 提案手法はHollowed Netと呼ばれ,拡散U-Netのアーキテクチャを変更することにより,微調整時のメモリ効率を向上させる。
  論文  参考訳（メタデータ） (2024-11-02T08:42:48Z)
• Image edge enhancement for effective image classification [7.470763273994321]
  ニューラルネットワークの精度とトレーニング速度を両立させるエッジ拡張に基づく手法を提案する。 我々のアプローチは、利用可能なデータセット内の画像からエッジなどの高周波特徴を抽出し、元の画像と融合させることである。
  論文  参考訳（メタデータ） (2024-01-13T10:01:34Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Cache Me if You Can: Accelerating Diffusion Models through Block Caching [67.54820800003375]
  画像間の大規模なネットワークは、ランダムノイズから画像を反復的に洗練するために、何度も適用されなければならない。 ネットワーク内のレイヤの振る舞いを調査し,1) レイヤの出力が経時的にスムーズに変化すること,2) レイヤが異なる変更パターンを示すこと,3) ステップからステップへの変更が非常に小さいこと,などが分かる。 本稿では,各ブロックの時間経過変化に基づいて,キャッシュスケジュールを自動的に決定する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-06T00:51:38Z)
• Prompt-Based Exemplar Super-Compression and Regeneration for Class-Incremental Learning [21.136513495039242]
  PESCRは,その量を大幅に増加させ,模範者の多様性を高める新しいアプローチである。 画像はビジュアルとテキストのプロンプトに圧縮され、元の画像の代わりに保存される。 その後の段階では、拡散モデルにより様々な例が再生される。
  論文  参考訳（メタデータ） (2023-11-30T05:59:31Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• MEIL-NeRF: Memory-Efficient Incremental Learning of Neural Radiance Fields [49.68916478541697]
  我々は、NeRF(MEIL-NeRF)のためのメモリ効率の良いインクリメンタル学習アルゴリズムを開発した。 MEIL-NeRFはNeRF自体からインスピレーションを得て、ニューラルネットワークがクエリとして与えられたピクセルRGB値を提供するメモリとして機能する。 その結果、MEIL-NeRFはメモリ消費と競合性能を一定に示すことができた。
  論文  参考訳（メタデータ） (2022-12-16T08:04:56Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)
• Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
  本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。 実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
  論文  参考訳（メタデータ） (2021-11-27T12:12:57Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Binary Neural Networks for Memory-Efficient and Effective Visual Place Recognition in Changing Environments [24.674034243725455]
  視覚的場所認識(VPR)は、視覚データを用いて、ある場所が訪れたかどうかを判断するロボットの能力である。 CNNベースのアプローチは、小さなロボットやドローンのようなリソース制約のあるプラットフォームには適さない。 本稿では,メモリ要求と計算労力を大幅に削減する,超コンパクトモデルの新たなクラスを提案する。
  論文  参考訳（メタデータ） (2020-10-01T22:59:34Z)
• Deep Artifact-Free Residual Network for Single Image Super-Resolution [0.2399911126932526]
  本研究では,残差学習の利点と,地中構造像を目標として用いることの利点を活かしたDAFR(Deep Artifact-Free Residual)ネットワークを提案する。 我々のフレームワークは、高品質な画像再構成に必要な高周波情報を抽出するために、ディープモデルを用いている。 実験の結果,提案手法は既存の手法に比べて定量的,定性的な画像品質を実現することがわかった。
  論文  参考訳（メタデータ） (2020-09-25T20:53:55Z)
• Neural Sparse Representation for Image Restoration [116.72107034624344]
  スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。 本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。 実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
  論文  参考訳（メタデータ） (2020-06-08T05:15:17Z)
• Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting [12.839962012888199]
  そこで本稿では,CRA(Contextual Residual Aggregation)機構を提案する。 CRA機構は、コンテキストパッチからの残基の重み付けにより、欠落した内容に対して高周波残基を生成する。 提案手法は,解像度512×512の小型画像に対して学習し,高解像度画像に対する推論を行い,良好な塗装品質を実現する。
  論文  参考訳（メタデータ） (2020-05-19T18:55:32Z)
• Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection [21.48875255723581]
  ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。 典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
  論文  参考訳（メタデータ） (2019-12-29T14:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。