論文の概要: Compiler-Aware Neural Architecture Search for On-Mobile Real-time Super-Resolution

• arxiv url: http://arxiv.org/abs/2207.12577v1
• Date: Mon, 25 Jul 2022 23:59:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-27 12:29:16.262955
• Title: Compiler-Aware Neural Architecture Search for On-Mobile Real-time Super-Resolution
• Title（参考訳）: モバイルリアルタイムスーパーレゾリューションのためのコンパイラアウェアニューラルアーキテクチャ探索
• Authors: Yushu Wu, Yifan Gong, Pu Zhao, Yanyu Li, Zheng Zhan, Wei Niu, Hao Tang, Minghai Qin, Bin Ren, and Yanzhi Wang
• Abstract要約: 適応SRブロックを用いた深度探索と層間幅探索を行うコンパイラ対応SRニューラルアーキテクチャサーチ(NAS)フレームワークを提案する。 我々は,モバイルプラットフォームのGPU/DSP上でのSR性能と競合する720pの解像度を実現するために,リアルタイムSR推論を実現する。
• 参考スコア（独自算出の注目度）: 48.13296296287587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning-based super-resolution (SR) has gained tremendous popularity in recent years because of its high image quality performance and wide application scenarios. However, prior methods typically suffer from large amounts of computations and huge power consumption, causing difficulties for real-time inference, especially on resource-limited platforms such as mobile devices. To mitigate this, we propose a compiler-aware SR neural architecture search (NAS) framework that conducts depth search and per-layer width search with adaptive SR blocks. The inference speed is directly taken into the optimization along with the SR loss to derive SR models with high image quality while satisfying the real-time inference requirement. Instead of measuring the speed on mobile devices at each iteration during the search process, a speed model incorporated with compiler optimizations is leveraged to predict the inference latency of the SR block with various width configurations for faster convergence. With the proposed framework, we achieve real-time SR inference for implementing 720p resolution with competitive SR performance (in terms of PSNR and SSIM) on GPU/DSP of mobile platforms (Samsung Galaxy S21).
• Abstract（参考訳）: ディープラーニングベースの超解像(SR)は、画像の品質と幅広いアプリケーションシナリオのため、近年大きな人気を集めている。 しかし、従来の手法は大量の計算と大量の電力消費に悩まされ、特にモバイルデバイスのようなリソース制限されたプラットフォームではリアルタイムの推論が困難になる。 これを軽減するために,適応SRブロックを用いた深度探索と層間幅探索を行うコンパイラ対応SRニューラルアーキテクチャサーチ(NAS)フレームワークを提案する。 推論速度は、SR損失とともに直接最適化され、リアルタイム推論要求を満たすとともに、高画質のSRモデルを導出する。 探索処理の各イテレーションでモバイルデバイスの速度を測定する代わりに、コンパイラ最適化に組み込まれた速度モデルを用いて、SRブロックの推論遅延を様々な幅構成で予測し、より高速な収束を実現する。 提案フレームワークでは,モバイルプラットフォーム(Samsung Galaxy S21)のGPU/DSP上で,競合SR性能(PSNRおよびSSIM)で 720p の解像度を実現するためのリアルタイムSR推論を実現する。

関連論文リスト

• Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
  我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。 より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。 我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
  論文  参考訳（メタデータ） (2024-05-08T11:09:24Z)
• Achieving on-Mobile Real-Time Super-Resolution with Neural Architecture and Pruning Search [64.80878113422824]
  リアルタイムの推論要求を満たすとともに、画像品質の高いスパース超解像モデル(SR)を導出する自動探索フレームワークを提案する。 提案したフレームワークでは、競合画像の品質を持つ720pの解像度を実現するために、リアルタイムSR推論(フレームあたり数ミリ秒)を初めて実現している。
  論文  参考訳（メタデータ） (2021-08-18T06:47:31Z)
• SplitSR: An End-to-End Approach to Super-Resolution on Mobile Devices [7.72178128781302]
  SplitSRと呼ばれる新しいハイブリッドアーキテクチャを用いて、デバイス上の超解像に対する最先端のレイテンシと精度を示す。 SplitSRは標準の畳み込みブロックと軽量な残留ブロックからなるハイブリッド設計である。 私たちのモデルをZoomSRというアプリでスマートフォンにデプロイし、デバイス上のディープラーニングベースのSRの最初のインスタンスをデモします。
  論文  参考訳（メタデータ） (2021-01-20T06:47:41Z)
• On-Device Text Image Super Resolution [0.0]
  我々は、よりシャープな文字エッジを再構築し、OCRの信頼性を高める新しいディープニューラルネットワークを提案する。 提案アーキテクチャは, バイコビックアップサンプリングによるPSNRの大幅な改善を実現するだけでなく, 平均推定時間1枚当たり11.7msで動作する。 ICDAR 2015 TextSRデータセットでは、OCRの精度が75.89%に達しています。
  論文  参考訳（メタデータ） (2020-11-20T07:49:48Z)
• DynaVSR: Dynamic Adaptive Blind Video Super-Resolution [60.154204107453914]
  DynaVSRは、現実世界のビデオSRのための新しいメタラーニングベースのフレームワークである。 様々な種類の合成ボケカーネルを備えたマルチフレームダウンスケーリングモジュールをトレーニングし、入力認識適応のためのビデオSRネットワークとシームレスに結合する。 実験結果から,DynaVSRは最先端のビデオSRモデルの性能を一定に向上することがわかった。
  論文  参考訳（メタデータ） (2020-11-09T15:07:32Z)
• Real Image Super Resolution Via Heterogeneous Model Ensemble using GP-NAS [63.48801313087118]
  本稿では,高密度スキップ接続を有するディープ残差ネットワークを用いた画像超解像法を提案する。 提案手法は、AIM 2020 Real Image Super-Resolution Challengeの3トラックで1位を獲得した。
  論文  参考訳（メタデータ） (2020-09-02T22:33:23Z)
• Journey Towards Tiny Perceptual Super-Resolution [23.30464519074935]
  本研究では,NASとGANを統合したニューラルアーキテクチャサーチ(NAS)手法を提案する。 我々の小さな知覚的SR(TPSR)モデルは、全参照知覚量(LPIPS)と歪み量(PSNR)の両方でSRGANとEnhanceNetを上回ります。
  論文  参考訳（メタデータ） (2020-07-08T18:24:40Z)
• Lightweight image super-resolution with enhanced CNN [82.36883027158308]
  強い表現力を持つ深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像(SISR)において印象的な性能を達成した 情報抽出・拡張ブロック(IEEB)、再構築ブロック(RB)、情報精製ブロック(IRB)の3つの連続したサブブロックを持つ軽量拡張SR CNN(LESRCNN)を提案する。 IEEBは階層的低分解能(LR)特徴を抽出し、SISRの深い層上の浅い層の記憶能力を高めるために、得られた特徴を段階的に集約する。 RBはグローバルに拡散することで低周波特徴を高周波特徴に変換する
  論文  参考訳（メタデータ） (2020-07-08T18:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。