論文の概要: Directing Mamba to Complex Textures: An Efficient Texture-Aware State Space Model for Image Restoration

• arxiv url: http://arxiv.org/abs/2501.16583v1
• Date: Mon, 27 Jan 2025 23:53:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:41:36.543544
• Title: Directing Mamba to Complex Textures: An Efficient Texture-Aware State Space Model for Image Restoration
• Title（参考訳）: マンバを複雑なテクスチャへ導く:画像復元のための効率的なテクスチャ認識状態空間モデル
• Authors: Long Peng, Xin Di, Zhanfeng Feng, Wenbo Li, Renjing Pei, Yang Wang, Xueyang Fu, Yang Cao, Zheng-Jun Zha,
• Abstract要約: TAMAMbaIRは画像テクスチャの達成と性能と効率のトレードオフを同時に知覚する。 画像超解像, デラリニング, 低照度画像強調のためのベンチマーク実験により, TAMAMbaIRは高い効率で最先端の性能を達成できることを示した。
• 参考スコア（独自算出の注目度）: 75.51789992466183
• License:
• Abstract: Image restoration aims to recover details and enhance contrast in degraded images. With the growing demand for high-quality imaging (\textit{e.g.}, 4K and 8K), achieving a balance between restoration quality and computational efficiency has become increasingly critical. Existing methods, primarily based on CNNs, Transformers, or their hybrid approaches, apply uniform deep representation extraction across the image. However, these methods often struggle to effectively model long-range dependencies and largely overlook the spatial characteristics of image degradation (regions with richer textures tend to suffer more severe damage), making it hard to achieve the best trade-off between restoration quality and efficiency. To address these issues, we propose a novel texture-aware image restoration method, TAMambaIR, which simultaneously perceives image textures and achieves a trade-off between performance and efficiency. Specifically, we introduce a novel Texture-Aware State Space Model, which enhances texture awareness and improves efficiency by modulating the transition matrix of the state-space equation and focusing on regions with complex textures. Additionally, we design a {Multi-Directional Perception Block} to improve multi-directional receptive fields while maintaining low computational overhead. Extensive experiments on benchmarks for image super-resolution, deraining, and low-light image enhancement demonstrate that TAMambaIR achieves state-of-the-art performance with significantly improved efficiency, establishing it as a robust and efficient framework for image restoration.
• Abstract（参考訳）: 画像復元は、詳細を復元し、劣化した画像のコントラストを強化することを目的としている。 高品質画像(\textit{e g }, 4K, 8K)の需要が高まり, 復元品質と計算効率のバランスをとることがますます重要になっている。 既存の手法は、主にCNN、トランスフォーマー、またはそれらのハイブリッドアプローチに基づいて、画像全体にわたって一様深度表現抽出を適用する。 しかし、これらの手法は、画像劣化の空間的特性(より豊かなテクスチャを持つ地域は、より深刻な損傷を受ける傾向がある)を概ね見落としており、修復品質と効率の最良のトレードオフを達成するのが困難である。 これらの課題に対処するために,画像テクスチャを同時に認識し,性能と効率のトレードオフを実現する新しいテクスチャ対応画像復元手法であるTAMAMbaIRを提案する。 具体的には、テクスチャ認識を高め、状態空間方程式の遷移行列を変調し、複雑なテクスチャを持つ領域に焦点を当てることで効率を向上させるテクスチャ認識状態空間モデルを提案する。 さらに,計算オーバーヘッドを低く抑えつつ,多方向受入場を改善するために, {Multi-Directional Perception Block} を設計する。 画像超解像, デラリニング, 低照度画像強調のためのベンチマーク実験により, TAMAMbaIRは高い効率で最先端の性能を実現し, 画像復元のための堅牢で効率的なフレームワークとして確立した。

関連論文リスト

• Multi-Scale Representation Learning for Image Restoration with State-Space Model [13.622411683295686]
  効率的な画像復元のためのマルチスケール状態空間モデル(MS-Mamba)を提案する。 提案手法は,計算複雑性を低く保ちながら,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-19T16:42:58Z)
• Research on Image Super-Resolution Reconstruction Mechanism based on Convolutional Neural Network [8.739451985459638]
  超解像アルゴリズムは、同一シーンから撮影された1つ以上の低解像度画像を高解像度画像に変換する。 再構成過程における画像の特徴抽出と非線形マッピング手法は,既存のアルゴリズムでは依然として困難である。 目的は、高解像度の画像から高品質で高解像度の画像を復元することである。
  論文  参考訳（メタデータ） (2024-07-18T06:50:39Z)
• DARK: Denoising, Amplification, Restoration Kit [0.7670170505111058]
  本稿では,低照度条件下での画像強調のための軽量な計算フレームワークを提案する。 我々のモデルは軽量に設計されており、標準のコンシューマハードウェア上でのリアルタイムアプリケーションに対する低計算需要と適合性を保証する。
  論文  参考訳（メタデータ） (2024-05-21T16:01:13Z)
• ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration [51.205673783866146]
  我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
  論文  参考訳（メタデータ） (2024-01-13T04:54:59Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Unsupervised Structure-Consistent Image-to-Image Translation [6.282068591820945]
  Swapping Autoencoderは、ディープイメージ操作と画像から画像への変換において最先端のパフォーマンスを達成した。 我々は、勾配反転層に基づく単純で効果的な補助モジュールを導入することにより、この作業を改善する。 補助モジュールの損失は、ジェネレータが全ゼロテクスチャコードでイメージを再構築することを学ぶことを強制する。
  論文  参考訳（メタデータ） (2022-08-24T13:47:15Z)
• Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
  空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。 本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
  論文  参考訳（メタデータ） (2021-08-19T11:02:25Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• Towards Analysis-friendly Face Representation with Scalable Feature and Texture Compression [113.30411004622508]
  普遍的で協調的な視覚情報表現は階層的な方法で実現できることを示す。 ディープニューラルネットワークの強力な生成能力に基づいて、基本特徴層と強化層の間のギャップは、特徴レベルのテクスチャ再構築によってさらに埋められる。 提案するフレームワークの効率を改善するために,ベース層ニューラルネットワークをマルチタスクでトレーニングする。
  論文  参考訳（メタデータ） (2020-04-21T14:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。