論文の概要: NAWQ-SR: A Hybrid-Precision NPU Engine for Efficient On-Device Super-Resolution

• arxiv url: http://arxiv.org/abs/2212.09501v1
• Date: Thu, 15 Dec 2022 23:51:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 17:51:15.126880
• Title: NAWQ-SR: A Hybrid-Precision NPU Engine for Efficient On-Device Super-Resolution
• Title（参考訳）: NAWQ-SR:高効率オンデバイス超解像用ハイブリッド精密NPUエンジン
• Authors: Stylianos I. Venieris and Mario Almeida and Royson Lee and Nicholas D. Lane
• Abstract要約: 本研究は、モバイルデバイス上でのディープラーニング超解像(SR)モデルの効率的なオンデバイス実行のための新しいフレームワークであるNAWQ-SRを提案する。 NAWQ-SRは、ユーザ固有の品質制約を満たしながら、レイテンシを最小限に抑えるため、最新のモバイルNPUのマルチ精度機能を利用する。 NAWQ-SRは、最先端のオンデバイスSRシステムに対して平均7.9倍、3倍、1.91倍のスピードアップを達成する。
• 参考スコア（独自算出の注目度）: 14.27248655361331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, image and video delivery systems have begun integrating deep learning super-resolution (SR) approaches, leveraging their unprecedented visual enhancement capabilities while reducing reliance on networking conditions. Nevertheless, deploying these solutions on mobile devices still remains an active challenge as SR models are excessively demanding with respect to workload and memory footprint. Despite recent progress on on-device SR frameworks, existing systems either penalize visual quality, lead to excessive energy consumption or make inefficient use of the available resources. This work presents NAWQ-SR, a novel framework for the efficient on-device execution of SR models. Through a novel hybrid-precision quantization technique and a runtime neural image codec, NAWQ-SR exploits the multi-precision capabilities of modern mobile NPUs in order to minimize latency, while meeting user-specified quality constraints. Moreover, NAWQ-SR selectively adapts the arithmetic precision at run time to equip the SR DNN's layers with wider representational power, improving visual quality beyond what was previously possible on NPUs. Altogether, NAWQ-SR achieves an average speedup of 7.9x, 3x and 1.91x over the state-of-the-art on-device SR systems that use heterogeneous processors (MobiSR), CPU (SplitSR) and NPU (XLSR), respectively. Furthermore, NAWQ-SR delivers an average of 3.2x speedup and 0.39 dB higher PSNR over status-quo INT8 NPU designs, but most importantly mitigates the negative effects of quantization on visual quality, setting a new state-of-the-art in the attainable quality of NPU-based SR.
• Abstract（参考訳）: 近年,画像・映像配信システムは,前例のない視覚エンハンスメント機能を活用しつつ,ネットワーク環境への依存度を低減しつつ,ディープラーニングスーパーレゾリューション(sr)アプローチの統合を開始している。 それでもsrモデルはワークロードとメモリフットプリントに関して過度に要求されているため、これらのソリューションをモバイルデバイスにデプロイすることはまだ活発な課題である。 オンデバイスsrフレームワークの最近の進歩にもかかわらず、既存のシステムは視覚品質を罰し、過度のエネルギー消費につながるか、利用可能なリソースを非効率に利用する。 本研究は、SRモデルのデバイス上での効率的な実行のための新しいフレームワークであるNAWQ-SRを提案する。 NAWQ-SRは、新しいハイブリッド精度量子化技術と実行時ニューラルイメージコーデックを通じて、最新のモバイルNPUのマルチ精度機能を利用して、ユーザの特定品質制約を満たす。 さらに、NAWQ-SRは実行時の算術精度を選択的に適応させ、SR DNNの層をより広い表現力で供給し、これまでNPUで可能であった以上に視覚的品質を向上させる。 NAWQ-SRは、それぞれヘテロジニアスプロセッサ(MobiSR)、CPU(SplitSR)、NPU(XLSR)を使用する最先端のオンデバイスSRシステムに対して、平均7.9x、3x、1.91xのスピードアップを達成する。 さらにNAWQ-SRは、現状のINT8 NPUの設計よりも平均3.2倍のスピードアップと0.39dBのPSNRを提供するが、最も重要な点は、量子化の視覚的品質に対する悪影響を緩和し、NPUベースのSRの達成可能な品質に新たな最先端を設定できることである。

関連論文リスト

• Swift Parameter-free Attention Network for Efficient Super-Resolution [8.365929625909509]
  シングルイメージ超解像は、低レベルのコンピュータビジョンにおいて重要な課題である。 Swiftを提案します。 パラメータカウント、推論速度、画像品質のバランスをとるパラメータフリーアテンションネットワーク(SPAN)。 複数のベンチマークでSPANを評価し,画像品質と推論速度の両面で既存の高効率超解像モデルより優れていることを示した。
  論文  参考訳（メタデータ） (2023-11-21T18:30:40Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Compiler-Aware Neural Architecture Search for On-Mobile Real-time Super-Resolution [48.13296296287587]
  適応SRブロックを用いた深度探索と層間幅探索を行うコンパイラ対応SRニューラルアーキテクチャサーチ(NAS)フレームワークを提案する。 我々は,モバイルプラットフォームのGPU/DSP上でのSR性能と競合する720pの解像度を実現するために,リアルタイムSR推論を実現する。
  論文  参考訳（メタデータ） (2022-07-25T23:59:19Z)
• Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution [64.54162195322246]
  畳み込みニューラルネットワーク(CNN)は画像超解像(SR)において大きな成功を収めた ほとんどのディープCNNベースのSRモデルは、高い性能を得るために大量の計算を処理している。 SRタスクに効率的かつ効果的なダウンサンプリングモジュールを導入することで,HPUN(Hybrid Pixel-Unshuffled Network)を提案する。
  論文  参考訳（メタデータ） (2022-03-16T20:10:41Z)
• Achieving on-Mobile Real-Time Super-Resolution with Neural Architecture and Pruning Search [64.80878113422824]
  リアルタイムの推論要求を満たすとともに、画像品質の高いスパース超解像モデル(SR)を導出する自動探索フレームワークを提案する。 提案したフレームワークでは、競合画像の品質を持つ720pの解像度を実現するために、リアルタイムSR推論(フレームあたり数ミリ秒)を初めて実現している。
  論文  参考訳（メタデータ） (2021-08-18T06:47:31Z)
• Towards Compact Single Image Super-Resolution via Contrastive Self-distillation [47.72815893585127]
  畳み込みニューラルネットワーク(CNN)は超解像(SR)に対して高い成功を収めている 本稿では,市販SRモデルの同時圧縮と高速化を目的とした,新しいコントラスト自己蒸留(CSD)フレームワークを提案する。 特に、チャネル分割型超解像ネットワークは、まずターゲットの教師ネットワークからコンパクトな学生ネットワークとして構築することができる。
  論文  参考訳（メタデータ） (2021-05-25T05:44:11Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• Lightweight image super-resolution with enhanced CNN [82.36883027158308]
  強い表現力を持つ深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像(SISR)において印象的な性能を達成した 情報抽出・拡張ブロック(IEEB)、再構築ブロック(RB)、情報精製ブロック(IRB)の3つの連続したサブブロックを持つ軽量拡張SR CNN(LESRCNN)を提案する。 IEEBは階層的低分解能(LR)特徴を抽出し、SISRの深い層上の浅い層の記憶能力を高めるために、得られた特徴を段階的に集約する。 RBはグローバルに拡散することで低周波特徴を高周波特徴に変換する
  論文  参考訳（メタデータ） (2020-07-08T18:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。