論文の概要: M2Restore: Mixture-of-Experts-based Mamba-CNN Fusion Framework for All-in-One Image Restoration

• arxiv url: http://arxiv.org/abs/2506.07814v1
• Date: Mon, 09 Jun 2025 14:43:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.002753
• Title: M2Restore: Mixture-of-Experts-based Mamba-CNN Fusion Framework for All-in-One Image Restoration
• Title（参考訳）: M2Restore:オールインワン画像復元のためのMmba-CNN融合フレームワーク
• Authors: Yongzhen Wang, Yongjun Li, Zhuoran Zheng, Xiao-Ping Zhang, Mingqiang Wei,
• Abstract要約: M2Restoreは、効率的で堅牢なオールインワン画像復元のための新しいMixture-of-Experts (MoE)ベースのMamba-CNN融合フレームワークである。 タスク条件付きプロンプトをCLIP由来のセマンティックプリミティブと融合させる,CLIP誘導型MoEゲーティング機構を利用する。 我々は,CNNの局所的表現強度とMambaの長距離モデリング効率を融合したデュアルストリームアーキテクチャを設計する。
• 参考スコア（独自算出の注目度）: 24.997494864875883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural images are often degraded by complex, composite degradations such as rain, snow, and haze, which adversely impact downstream vision applications. While existing image restoration efforts have achieved notable success, they are still hindered by two critical challenges: limited generalization across dynamically varying degradation scenarios and a suboptimal balance between preserving local details and modeling global dependencies. To overcome these challenges, we propose M2Restore, a novel Mixture-of-Experts (MoE)-based Mamba-CNN fusion framework for efficient and robust all-in-one image restoration. M2Restore introduces three key contributions: First, to boost the model's generalization across diverse degradation conditions, we exploit a CLIP-guided MoE gating mechanism that fuses task-conditioned prompts with CLIP-derived semantic priors. This mechanism is further refined via cross-modal feature calibration, which enables precise expert selection for various degradation types. Second, to jointly capture global contextual dependencies and fine-grained local details, we design a dual-stream architecture that integrates the localized representational strength of CNNs with the long-range modeling efficiency of Mamba. This integration enables collaborative optimization of global semantic relationships and local structural fidelity, preserving global coherence while enhancing detail restoration. Third, we introduce an edge-aware dynamic gating mechanism that adaptively balances global modeling and local enhancement by reallocating computational attention to degradation-sensitive regions. This targeted focus leads to more efficient and precise restoration. Extensive experiments across multiple image restoration benchmarks validate the superiority of M2Restore in both visual quality and quantitative performance.
• Abstract（参考訳）: 自然画像は、雨、雪、ヘイズなどの複雑な複合劣化によって劣化し、下流の視覚応用に悪影響を及ぼすことが多い。 既存の画像復元の取り組みは目覚ましい成功を収めたものの、動的に変化する劣化シナリオにまたがる限定的な一般化と、局所的な詳細を保存することとグローバルな依存関係をモデル化する際の最適以下のバランスという、2つの重要な課題によって妨げられている。 これらの課題を克服するために,我々はM2Restoreを提案する。M2Restoreは,M2Restoreという,M2Restoreをベースとした,効率的かつ堅牢なオールインワン画像復元のためのM2Restoreである。 M2Restoreは3つの重要なコントリビューションを紹介している。 まず、さまざまな劣化条件におけるモデルの一般化を促進するために、CLIPから派生したセマンティックプリミティブでタスク条件付きプロンプトを融合するCLIP誘導のMoEゲーティングメカニズムを利用する。 この機構はクロスモーダルな特徴キャリブレーションによってさらに洗練され、様々な劣化タイプの精密な専門家選択を可能にする。 次に,CNNの局所的表現強度と,Mambaの長距離モデリング効率を融合した2重ストリームアーキテクチャを設計する。 この統合により、グローバルな意味的関係と局所的な構造的忠実さの協調的な最適化が可能となり、細部復元の強化とともに、グローバルなコヒーレンスを保存することができる。 第3に,大域的モデリングと局所的拡張を適応的にバランスさせる,エッジ対応の動的ゲーティング機構を導入する。 この目標の焦点はより効率的で正確な修復につながる。 複数の画像復元ベンチマークにわたる大規模な実験は、視覚的品質と定量的性能の両方において、M2Restoreの優位性を検証する。

関連論文リスト

• AlignVAR: Towards Globally Consistent Visual Autoregression for Image Super-Resolution [16.90182090355781]
  視覚的自己回帰モデルは、次のスケールの予測を通じて安定したトレーニング、非定性推論、高忠実性合成を提供する。 しかし、その応用は未調査のままであり、局所性に偏った注意と残留性のみの監督という2つの重要な課題に直面している。 画像超解像に適した一貫した視覚自己回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-28T10:39:06Z)
• M3SR: Multi-Scale Multi-Perceptual Mamba for Efficient Spectral Reconstruction [47.507960245579106]
  本稿では,M3SRと呼ばれるスペクトル再構成タスクのためのマルチスケール・マルチパーセプティカル・マンバアーキテクチャを提案する。 具体的には,モデルが入力特徴を包括的に理解し解析する能力を高めるために,多視点融合ブロックを設計する。
  論文  参考訳（メタデータ） (2026-01-13T07:33:38Z)
• ClearAIR: A Human-Visual-Perception-Inspired All-in-One Image Restoration [40.50200240865161]
  All-in-One Image Restoration (AiOIR)は、複雑な現実世界の劣化に対して有望な解決策を提供するために大きく進歩した。 本稿では,Human Visual Perception (HVP)にインスパイアされた新しいAiOIRフレームワークであるClearAIRを提案する。 実験の結果、ClearAIRは多様な合成データセットと実世界のデータセットで優れたパフォーマンスを実現していることがわかった。
  論文  参考訳（メタデータ） (2026-01-06T06:55:08Z)
• Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
  実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。 単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。 LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-20T04:11:44Z)
• Modality Alignment with Multi-scale Bilateral Attention for Multimodal Recommendation [9.91438130100011]
  MambaRecは、ローカルな特徴アライメントとグローバルな分散正規化を統合する新しいフレームワークである。 DREAMモジュールは階層的関係とコンテキスト認識関連をキャプチャし、モーダル間セマンティックモデリングを改善する。 実世界のeコマースデータセットの実験によると、MambaRecは融合品質、一般化、効率で既存の手法より優れている。
  論文  参考訳（メタデータ） (2025-09-11T02:52:26Z)
• RD-UIE: Relation-Driven State Space Modeling for Underwater Image Enhancement [59.364418120895]
  水中画像強調(UIE)は、海洋視覚応用のための重要な前処理ステップである。 実効UIE(RD-UIE)のための新しい関係駆動型マンバフレームワークを開発した。 水中強化ベンチマークの実験では、RD-UIEは最先端のアプローチであるWMambaよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-02T12:21:44Z)
• Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
  劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。 我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。 劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-19T09:54:46Z)
• An Efficient and Mixed Heterogeneous Model for Image Restoration [71.85124734060665]
  現在の主流のアプローチは、CNN、Transformers、Mambasの3つのアーキテクチャパラダイムに基づいている。 混合構造融合に基づく効率的で汎用的なIRモデルであるRestorMixerを提案する。
  論文  参考訳（メタデータ） (2025-04-15T08:19:12Z)
• Contrast: A Hybrid Architecture of Transformers and State Space Models for Low-Level Vision [3.574664325523221]
  textbfContrastは、textbfConvolutional、textbfTransformer、textbfState Spaceコンポーネントを組み合わせたハイブリッドSRモデルである。 変換器と状態空間機構を統合することで、textbfContrastは各アプローチの欠点を補償し、グローバルコンテキストモデリングとピクセルレベルの精度を向上させる。
  論文  参考訳（メタデータ） (2025-01-23T03:34:14Z)
• Detail Matters: Mamba-Inspired Joint Unfolding Network for Snapshot Spectral Compressive Imaging [40.80197280147993]
  本研究では,HSI再建の非線形および不適切な特徴を克服するために,マンバインスパイアされたジョイント・アンフォールディング・ネットワーク(MiJUN)を提案する。 本稿では,初期最適化段階への依存を減らすために,高速化された展開ネットワーク方式を提案する。 テンソルモード-$k$展開をMambaネットワークに統合することにより,Mambaによる走査戦略を洗練する。
  論文  参考訳（メタデータ） (2025-01-02T13:56:23Z)
• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• Preserving Multi-Modal Capabilities of Pre-trained VLMs for Improving Vision-Linguistic Compositionality [69.76121008898677]
  きめ細かい選択校正CLIPは局所的硬陰性損失と選択的校正正規化を統合している。 評価の結果、FSC-CLIPは、最先端モデルと同等の合成性を達成できるだけでなく、強力なマルチモーダル能力を保っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-07T17:16:20Z)
• Restore Anything Model via Efficient Degradation Adaptation [129.38475243424563]
  RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。 RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
  論文  参考訳（メタデータ） (2024-07-18T10:26:53Z)
• IRSRMamba: Infrared Image Super-Resolution via Mamba-based Wavelet Transform Feature Modulation Model [7.842507196763463]
  IRSRMambaはマルチスケール適応のためのウェーブレット変換特徴変調を統合する新しいフレームワークである。 IRSRMambaはPSNR、SSIM、知覚品質において最先端の手法より優れている。 この研究は、高忠実度赤外線画像強調のための有望な方向として、Mambaベースのアーキテクチャを確立する。
  論文  参考訳（メタデータ） (2024-05-16T07:49:24Z)
• Modality-Collaborative Transformer with Hybrid Feature Reconstruction for Robust Emotion Recognition [35.15390769958969]
  ハイブリッド特徴再構成(MCT-HFR)を用いた統一型モダリティ協調変換器を提案する。 MCT-HFRは、モダリティ内およびモダリティ間関係を同時に抽出し、動的にバランスをとる新しいアテンションベースのエンコーダで構成されている。 モデルトレーニング中、LFIは、完全特徴を監督信号として活用し、局所的欠落した特徴を回復する一方、GFAはペア完全表現と不完全表現のグローバルな意味的ギャップを減らすように設計されている。
  論文  参考訳（メタデータ） (2023-12-26T01:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。