論文の概要: SplitSR: An End-to-End Approach to Super-Resolution on Mobile Devices
- arxiv url: http://arxiv.org/abs/2101.07996v1
- Date: Wed, 20 Jan 2021 06:47:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-22 01:19:28.036216
- Title: SplitSR: An End-to-End Approach to Super-Resolution on Mobile Devices
- Title(参考訳): SplitSR: モバイルデバイスの超解法へのエンドツーエンドアプローチ
- Authors: Xin Liu, Yuang Li, Josh Fromm, Yuntao Wang, Ziheng Jiang, Alex
Mariakakis, Shwetak Patel
- Abstract要約: SplitSRと呼ばれる新しいハイブリッドアーキテクチャを用いて、デバイス上の超解像に対する最先端のレイテンシと精度を示す。
SplitSRは標準の畳み込みブロックと軽量な残留ブロックからなるハイブリッド設計である。
私たちのモデルをZoomSRというアプリでスマートフォンにデプロイし、デバイス上のディープラーニングベースのSRの最初のインスタンスをデモします。
- 参考スコア(独自算出の注目度): 7.72178128781302
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Super-resolution (SR) is a coveted image processing technique for mobile apps
ranging from the basic camera apps to mobile health. Existing SR algorithms
rely on deep learning models with significant memory requirements, so they have
yet to be deployed on mobile devices and instead operate in the cloud to
achieve feasible inference time. This shortcoming prevents existing SR methods
from being used in applications that require near real-time latency. In this
work, we demonstrate state-of-the-art latency and accuracy for on-device
super-resolution using a novel hybrid architecture called SplitSR and a novel
lightweight residual block called SplitSRBlock. The SplitSRBlock supports
channel-splitting, allowing the residual blocks to retain spatial information
while reducing the computation in the channel dimension. SplitSR has a hybrid
design consisting of standard convolutional blocks and lightweight residual
blocks, allowing people to tune SplitSR for their computational budget. We
evaluate our system on a low-end ARM CPU, demonstrating both higher accuracy
and up to 5 times faster inference than previous approaches. We then deploy our
model onto a smartphone in an app called ZoomSR to demonstrate the first-ever
instance of on-device, deep learning-based SR. We conducted a user study with
15 participants to have them assess the perceived quality of images that were
post-processed by SplitSR. Relative to bilinear interpolation -- the existing
standard for on-device SR -- participants showed a statistically significant
preference when looking at both images (Z=-9.270, p<0.01) and text (Z=-6.486,
p<0.01).
- Abstract(参考訳): Super- resolution (SR) は、基本的なカメラアプリからモバイル健康まで、モバイルアプリケーションのための画像処理技術である。
既存のSRアルゴリズムは、大きなメモリ要件を持つディープラーニングモデルに依存しているため、モバイルデバイスにデプロイされず、クラウドで運用することで、実現可能な推論時間を実現している。
この欠点は、ほぼリアルタイムレイテンシを必要とするアプリケーションで既存のSRメソッドが使用されるのを防ぐ。
本研究では、SplitSRと呼ばれる新しいハイブリッドアーキテクチャと、SplitSRBlockと呼ばれる新しい軽量残差ブロックを用いて、デバイス上の超分解能の最先端レイテンシと精度を示す。
splitsrblockはチャネル分割をサポートし、残余ブロックが空間情報を保持でき、チャネル次元での計算を削減できる。
SplitSRは標準の畳み込みブロックと軽量な残留ブロックからなるハイブリッド設計で、計算予算のためにSplitSRをチューニングできる。
我々は,我々のシステムをローエンドのARM CPU上で評価し,従来の手法に比べて高い精度と最大5倍高速な推論を実証した。
次に、当社のモデルをZoomSRというアプリでスマートフォンにデプロイし、デバイス上での深層学習ベースのSRの最初の事例を実演し、15人の参加者とユーザスタディを行い、SplitSRが後処理した画像の品質を評価させた。
両画像(z=-9.270, p<0.01)とテキスト(z=-6.486, p<0.01)の両方を見ると統計的に有意な傾向を示した。
関連論文リスト
- Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。
より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。
我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
論文 参考訳(メタデータ) (2024-05-08T11:09:24Z) - Spatially-Adaptive Feature Modulation for Efficient Image
Super-Resolution [90.16462805389943]
視覚変換器(ViT)のようなブロック上に,空間適応型特徴変調(SAFM)機構を開発する。
提案法は最先端のSR法よりも3倍程度小さい。
論文 参考訳(メタデータ) (2023-02-27T14:19:31Z) - Learning to Super-Resolve Blurry Images with Events [62.61911224564196]
単一運動ブラインド画像(SRB)からの超解像は, 運動ぼけと低空間分解能の合同劣化により, 深刻な問題となる。
我々は、SRBの負担を軽減するためにイベントを使用し、イベント強化SRB(E-SRB)アルゴリズムを提案する。
提案するeSL-Net++は最先端の手法よりも大きなマージンで優れていることを示す。
論文 参考訳(メタデータ) (2023-02-27T13:46:42Z) - LSR: A Light-Weight Super-Resolution Method [36.14816868964436]
LSRは、補間された低分解能画像(ILR)と高分解能画像(HR)の間の残像を自己監督フレームワークを用いて予測する。
1)教師なし学習により対象画素の近傍にリッチで多様化した表現プールを生成すること,2)教師なし学習により下層の超解像タスクに最も関係のある表現プールからサブセットを選択すること,3)回帰によって対象画素の残差を予測すること,の3つのモジュールから構成される。
論文 参考訳(メタデータ) (2023-02-27T09:02:35Z) - Compiler-Aware Neural Architecture Search for On-Mobile Real-time
Super-Resolution [48.13296296287587]
適応SRブロックを用いた深度探索と層間幅探索を行うコンパイラ対応SRニューラルアーキテクチャサーチ(NAS)フレームワークを提案する。
我々は,モバイルプラットフォームのGPU/DSP上でのSR性能と競合する720pの解像度を実現するために,リアルタイムSR推論を実現する。
論文 参考訳(メタデータ) (2022-07-25T23:59:19Z) - ShuffleMixer: An Efficient ConvNet for Image Super-Resolution [88.86376017828773]
本稿では、大きな畳み込みとチャネル分割シャッフル操作を探索する軽量画像超解像のためのShuffleMixerを提案する。
具体的には,チャネル分割とシャッフルを基本成分とする2つのプロジェクション層を効率よく混合する。
実験結果から,ShuffleMixerはモデルパラメータやFLOPの手法に比べて約6倍小さいことがわかった。
論文 参考訳(メタデータ) (2022-05-30T15:26:52Z) - Achieving on-Mobile Real-Time Super-Resolution with Neural Architecture
and Pruning Search [64.80878113422824]
リアルタイムの推論要求を満たすとともに、画像品質の高いスパース超解像モデル(SR)を導出する自動探索フレームワークを提案する。
提案したフレームワークでは、競合画像の品質を持つ720pの解像度を実現するために、リアルタイムSR推論(フレームあたり数ミリ秒)を初めて実現している。
論文 参考訳(メタデータ) (2021-08-18T06:47:31Z) - On-Device Text Image Super Resolution [0.0]
我々は、よりシャープな文字エッジを再構築し、OCRの信頼性を高める新しいディープニューラルネットワークを提案する。
提案アーキテクチャは, バイコビックアップサンプリングによるPSNRの大幅な改善を実現するだけでなく, 平均推定時間1枚当たり11.7msで動作する。
ICDAR 2015 TextSRデータセットでは、OCRの精度が75.89%に達しています。
論文 参考訳(メタデータ) (2020-11-20T07:49:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。