論文の概要: Latent Modulated Function for Computational Optimal Continuous Image Representation
- arxiv url: http://arxiv.org/abs/2404.16451v1
- Date: Thu, 25 Apr 2024 09:30:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 14:19:10.428349
- Title: Latent Modulated Function for Computational Optimal Continuous Image Representation
- Title(参考訳): 計算最適連続画像表現のための潜在変調関数
- Authors: Zongyao He, Zhi Jin,
- Abstract要約: 連続画像表現のための新しい遅延変調レンダリング(LMF)アルゴリズムを提案する。
本稿では,既存のINR法をLMFに変換することにより,計算コストを最大99.9%削減できることを示す。
実験により、既存のINRベースのメソッドをLMFに変換することで、推論を57倍まで削減し、最大76%のパラメータを節約できることが示された。
- 参考スコア(独自算出の注目度): 20.678662838709542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent work Local Implicit Image Function (LIIF) and subsequent Implicit Neural Representation (INR) based works have achieved remarkable success in Arbitrary-Scale Super-Resolution (ASSR) by using MLP to decode Low-Resolution (LR) features. However, these continuous image representations typically implement decoding in High-Resolution (HR) High-Dimensional (HD) space, leading to a quadratic increase in computational cost and seriously hindering the practical applications of ASSR. To tackle this problem, we propose a novel Latent Modulated Function (LMF), which decouples the HR-HD decoding process into shared latent decoding in LR-HD space and independent rendering in HR Low-Dimensional (LD) space, thereby realizing the first computational optimal paradigm of continuous image representation. Specifically, LMF utilizes an HD MLP in latent space to generate latent modulations of each LR feature vector. This enables a modulated LD MLP in render space to quickly adapt to any input feature vector and perform rendering at arbitrary resolution. Furthermore, we leverage the positive correlation between modulation intensity and input image complexity to design a Controllable Multi-Scale Rendering (CMSR) algorithm, offering the flexibility to adjust the decoding efficiency based on the rendering precision. Extensive experiments demonstrate that converting existing INR-based ASSR methods to LMF can reduce the computational cost by up to 99.9%, accelerate inference by up to 57 times, and save up to 76% of parameters, while maintaining competitive performance. The code is available at https://github.com/HeZongyao/LMF.
- Abstract(参考訳): 近年のローカル・インプリシット・イメージ機能(LIIF)とインプリシット・ニューラル・リ表現(INR)に基づく研究は、MLPを用いて低解像度(LR)特徴をデコードすることで、任意スケール超解法(ASSR)において顕著な成功を収めている。
しかし、これらの連続画像表現は通常、高分解能(HR)高次元(HD)空間で復号化を実装しており、計算コストが2次的に増加し、ASSRの実用的な応用を著しく妨げている。
この問題に対処するため,我々は,HR-HD復号処理をLR-HD空間における共有潜在復号法とHR低次元(LD)空間における独立レンダリングに分離し,連続画像表現の最初の計算的最適パラダイムを実現する新しい遅延変調関数(LMF)を提案する。
具体的には、LMFは遅延空間内のHD MLPを使用して、各LR特徴ベクトルの潜時変調を生成する。
これにより、レンダリング空間における変調LD MLPは、任意の入力特徴ベクトルに迅速に適応し、任意の解像度でレンダリングを行うことができる。
さらに、変調強度と入力画像複雑性の正の相関を利用して、制御可能なマルチスケールレンダリング(CMSR)アルゴリズムを設計し、レンダリング精度に基づいてデコード効率を調整する柔軟性を提供する。
大規模な実験では、既存のINRベースのASSR法をLMFに変換することで、計算コストを最大99.9%削減し、推論を57回加速し、パラメータの最大76%を削減し、競争性能を維持している。
コードはhttps://github.com/HeZongyao/LMFで公開されている。
関連論文リスト
- MixNet: Towards Effective and Efficient UHD Low-Light Image Enhancement [45.801789547053026]
そこで本研究では,UHD画像用に設計したMixNetという低照度画像強調手法を提案する。
過剰な計算複雑性を伴わずに、機能の長距離依存性を捉えるために、Global Feature Modulation Layer (GFML)を提示する。
さらに、局所特徴変調層(LFML)とフィードフォワード層(FFL)を設計して、局所特徴をキャプチャし、特徴をコンパクトな表現に変換する。
論文 参考訳(メタデータ) (2024-01-19T12:40:54Z) - Transforming Image Super-Resolution: A ConvFormer-based Efficient
Approach [63.98380888730723]
本稿では, Convolutional Transformer Layer (ConvFormer) と ConvFormer-based Super-Resolution Network (CFSR) を紹介する。
CFSRは、計算コストの少ない長距離依存と広範囲の受容場を効率的にモデル化する。
これは、x2 SRタスクのUrban100データセットで0.39dB、パラメータが26%、FLOPが31%減少している。
論文 参考訳(メタデータ) (2024-01-11T03:08:00Z) - Efficient Model Agnostic Approach for Implicit Neural Representation
Based Arbitrary-Scale Image Super-Resolution [5.704360536038803]
単一の画像超解像(SISR)は、主に深層畳み込みネットワークによって大きく進歩した。
従来のネットワークは、画像を一定のスケールにスケールアップすることに限定されており、任意のスケールのイメージを生成するために暗黙の神経機能を利用することになる。
我々は,任意のスケールで超解像を実現する,新しい,効率的なフレームワークであるMixture of Experts Implicit Super-Resolution(MoEISR)を導入する。
論文 参考訳(メタデータ) (2023-11-20T05:34:36Z) - Low-Resolution Self-Attention for Semantic Segmentation [96.81482872022237]
我々は,グローバルコンテキストを計算コストの大幅な削減で捉えるために,低解像度自己認識(LRSA)機構を導入する。
我々のアプローチは、入力画像の解像度に関わらず、固定された低解像度空間における自己注意を計算することである。
本稿では,エンコーダ・デコーダ構造を持つビジョントランスであるLRFormerを構築することで,LRSA手法の有効性を示す。
論文 参考訳(メタデータ) (2023-10-08T06:10:09Z) - Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。
IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。
スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
論文 参考訳(メタデータ) (2023-03-29T07:02:20Z) - OPE-SR: Orthogonal Position Encoding for Designing a Parameter-free
Upsampling Module in Arbitrary-scale Image Super-Resolution [11.74426147465809]
インプリシット・ニューラル表現(INR)は、任意のスケールの画像超解像に対する一般的なアプローチである。
我々は、任意のスケールの画像超解像のためにINRベースのアップサンプリングモジュールを置き換えるOPE-Upscaleモジュールを提案する。
論文 参考訳(メタデータ) (2023-03-02T09:26:14Z) - Spatially-Adaptive Feature Modulation for Efficient Image
Super-Resolution [90.16462805389943]
視覚変換器(ViT)のようなブロック上に,空間適応型特徴変調(SAFM)機構を開発する。
提案法は最先端のSR法よりも3倍程度小さい。
論文 参考訳(メタデータ) (2023-02-27T14:19:31Z) - DCS-RISR: Dynamic Channel Splitting for Efficient Real-world Image
Super-Resolution [15.694407977871341]
実世界の画像超解像(RISR)は、未知の複雑な劣化下でのSR画像の品質向上に重点を置いている。
既存の手法は、分解レベルが異なる低解像度(LR)画像を強化するために重いSRモデルに依存している。
本稿では,DCS-RISRと呼ばれる高効率リアルタイム画像超解法のための動的チャネル分割方式を提案する。
論文 参考訳(メタデータ) (2022-12-15T04:34:57Z) - LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single
Image Super-Resolution and Beyond [75.37541439447314]
単一画像超解像(SISR)は、低解像度(LR)画像を高解像度(HR)バージョンにアップサンプリングする根本的な問題を扱う。
本稿では,線形組立画素適応回帰ネットワーク (LAPAR) を提案する。
論文 参考訳(メタデータ) (2021-05-21T15:47:18Z) - Deep Generative Adversarial Residual Convolutional Networks for
Real-World Super-Resolution [31.934084942626257]
我々は,超解像残差畳み込み生成共役ネットワーク(SRResCGAN)を提案する。
これは、生成したLRドメインからHRドメインの画素単位の監督でモデルを逆トレーニングすることで、現実世界の劣化設定に従う。
提案するネットワークは,画像の高精細化と凸最適化によるエネルギーベース目的関数の最小化により,残差学習を利用する。
論文 参考訳(メタデータ) (2020-05-03T00:12:38Z) - Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。
本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
論文 参考訳(メタデータ) (2020-02-15T13:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。