Fugu-MT 論文翻訳(概要): Latent Modulated Function for Computational Optimal Continuous Image Representation

論文の概要: Latent Modulated Function for Computational Optimal Continuous Image Representation

arxiv url: http://arxiv.org/abs/2404.16451v1
Date: Thu, 25 Apr 2024 09:30:38 GMT
ステータス: 処理完了
システム内更新日: 2024-04-26 14:19:10.428349
Title: Latent Modulated Function for Computational Optimal Continuous Image Representation
Title（参考訳）: 計算最適連続画像表現のための潜在変調関数
Authors: Zongyao He, Zhi Jin,
Abstract要約: 連続画像表現のための新しい遅延変調レンダリング(LMF)アルゴリズムを提案する。本稿では,既存のINR法をLMFに変換することにより,計算コストを最大99.9%削減できることを示す。実験により、既存のINRベースのメソッドをLMFに変換することで、推論を57倍まで削減し、最大76%のパラメータを節約できることが示された。
参考スコア（独自算出の注目度）: 20.678662838709542
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The recent work Local Implicit Image Function (LIIF) and subsequent Implicit Neural Representation (INR) based works have achieved remarkable success in Arbitrary-Scale Super-Resolution (ASSR) by using MLP to decode Low-Resolution (LR) features. However, these continuous image representations typically implement decoding in High-Resolution (HR) High-Dimensional (HD) space, leading to a quadratic increase in computational cost and seriously hindering the practical applications of ASSR. To tackle this problem, we propose a novel Latent Modulated Function (LMF), which decouples the HR-HD decoding process into shared latent decoding in LR-HD space and independent rendering in HR Low-Dimensional (LD) space, thereby realizing the first computational optimal paradigm of continuous image representation. Specifically, LMF utilizes an HD MLP in latent space to generate latent modulations of each LR feature vector. This enables a modulated LD MLP in render space to quickly adapt to any input feature vector and perform rendering at arbitrary resolution. Furthermore, we leverage the positive correlation between modulation intensity and input image complexity to design a Controllable Multi-Scale Rendering (CMSR) algorithm, offering the flexibility to adjust the decoding efficiency based on the rendering precision. Extensive experiments demonstrate that converting existing INR-based ASSR methods to LMF can reduce the computational cost by up to 99.9%, accelerate inference by up to 57 times, and save up to 76% of parameters, while maintaining competitive performance. The code is available at https://github.com/HeZongyao/LMF.
Abstract（参考訳）: 近年のローカル・インプリシット・イメージ機能(LIIF)とインプリシット・ニューラル・リ表現(INR)に基づく研究は、MLPを用いて低解像度(LR)特徴をデコードすることで、任意スケール超解法(ASSR)において顕著な成功を収めている。しかし、これらの連続画像表現は通常、高分解能(HR)高次元(HD)空間で復号化を実装しており、計算コストが2次的に増加し、ASSRの実用的な応用を著しく妨げている。この問題に対処するため,我々は,HR-HD復号処理をLR-HD空間における共有潜在復号法とHR低次元(LD)空間における独立レンダリングに分離し,連続画像表現の最初の計算的最適パラダイムを実現する新しい遅延変調関数(LMF)を提案する。具体的には、LMFは遅延空間内のHD MLPを使用して、各LR特徴ベクトルの潜時変調を生成する。これにより、レンダリング空間における変調LD MLPは、任意の入力特徴ベクトルに迅速に適応し、任意の解像度でレンダリングを行うことができる。さらに、変調強度と入力画像複雑性の正の相関を利用して、制御可能なマルチスケールレンダリング(CMSR)アルゴリズムを設計し、レンダリング精度に基づいてデコード効率を調整する柔軟性を提供する。大規模な実験では、既存のINRベースのASSR法をLMFに変換することで、計算コストを最大99.9%削減し、推論を57回加速し、パラメータの最大76%を削減し、競争性能を維持している。コードはhttps://github.com/HeZongyao/LMFで公開されている。

関連論文リスト

Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
論文参考訳（メタデータ） (2024-10-17T11:46:33Z)
Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
論文参考訳（メタデータ） (2024-05-08T11:09:24Z)
MixNet: Efficient Global Modeling for Ultra-High-Definition Image Restoration [36.15948393000783]
そこで我々は,MixNetという新たな画像復元手法を提案する。過剰な計算複雑性を伴わずに、機能の長距離依存性を捉えるために、Global Feature Modulation Layer (GFML)を提示する。低照度画像強調,水中画像強調,画像劣化,画像復調を含む4つのUHD画像復元タスクについて広範な実験を行い,提案手法が現在の最先端手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-01-19T12:40:54Z)
Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
論文参考訳（メタデータ） (2024-01-11T03:08:00Z)
Efficient Model Agnostic Approach for Implicit Neural Representation Based Arbitrary-Scale Image Super-Resolution [5.704360536038803]
単一の画像超解像(SISR)は、主に深層畳み込みネットワークによって大きく進歩した。従来のネットワークは、画像を一定のスケールにスケールアップすることに限定されており、任意のスケールのイメージを生成するために暗黙の神経機能を利用することになる。我々は,任意のスケールで超解像を実現する,新しい,効率的なフレームワークであるMixture of Experts Implicit Super-Resolution(MoEISR)を導入する。
論文参考訳（メタデータ） (2023-11-20T05:34:36Z)
Low-Resolution Self-Attention for Semantic Segmentation [96.81482872022237]
我々は,グローバルコンテキストを計算コストの大幅な削減で捉えるために,低解像度自己認識(LRSA)機構を導入する。我々のアプローチは、入力画像の解像度に関わらず、固定された低解像度空間における自己注意を計算することである。本稿では,エンコーダ・デコーダ構造を持つビジョントランスであるLRFormerを構築することで,LRSA手法の有効性を示す。
論文参考訳（メタデータ） (2023-10-08T06:10:09Z)
Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。 IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
論文参考訳（メタデータ） (2023-03-29T07:02:20Z)
OPE-SR: Orthogonal Position Encoding for Designing a Parameter-free Upsampling Module in Arbitrary-scale Image Super-Resolution [11.74426147465809]
インプリシット・ニューラル表現(INR)は、任意のスケールの画像超解像に対する一般的なアプローチである。我々は、任意のスケールの画像超解像のためにINRベースのアップサンプリングモジュールを置き換えるOPE-Upscaleモジュールを提案する。
論文参考訳（メタデータ） (2023-03-02T09:26:14Z)
Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution [90.16462805389943]
視覚変換器(ViT)のようなブロック上に,空間適応型特徴変調(SAFM)機構を開発する。提案法は最先端のSR法よりも3倍程度小さい。
論文参考訳（メタデータ） (2023-02-27T14:19:31Z)
DCS-RISR: Dynamic Channel Splitting for Efficient Real-world Image Super-Resolution [15.694407977871341]
実世界の画像超解像(RISR)は、未知の複雑な劣化下でのSR画像の品質向上に重点を置いている。既存の手法は、分解レベルが異なる低解像度(LR)画像を強化するために重いSRモデルに依存している。本稿では,DCS-RISRと呼ばれる高効率リアルタイム画像超解法のための動的チャネル分割方式を提案する。
論文参考訳（メタデータ） (2022-12-15T04:34:57Z)
Deep Generative Adversarial Residual Convolutional Networks for Real-World Super-Resolution [31.934084942626257]
我々は,超解像残差畳み込み生成共役ネットワーク(SRResCGAN)を提案する。これは、生成したLRドメインからHRドメインの画素単位の監督でモデルを逆トレーニングすることで、現実世界の劣化設定に従う。提案するネットワークは,画像の高精細化と凸最適化によるエネルギーベース目的関数の最小化により,残差学習を利用する。
論文参考訳（メタデータ） (2020-05-03T00:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。