論文の概要: M2Restore: Mixture-of-Experts-based Mamba-CNN Fusion Framework for All-in-One Image Restoration

• arxiv url: http://arxiv.org/abs/2506.07814v1
• Date: Mon, 09 Jun 2025 14:43:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.002753
• Title: M2Restore: Mixture-of-Experts-based Mamba-CNN Fusion Framework for All-in-One Image Restoration
• Title（参考訳）: M2Restore:オールインワン画像復元のためのMmba-CNN融合フレームワーク
• Authors: Yongzhen Wang, Yongjun Li, Zhuoran Zheng, Xiao-Ping Zhang, Mingqiang Wei,
• Abstract要約: M2Restoreは、効率的で堅牢なオールインワン画像復元のための新しいMixture-of-Experts (MoE)ベースのMamba-CNN融合フレームワークである。 タスク条件付きプロンプトをCLIP由来のセマンティックプリミティブと融合させる,CLIP誘導型MoEゲーティング機構を利用する。 我々は,CNNの局所的表現強度とMambaの長距離モデリング効率を融合したデュアルストリームアーキテクチャを設計する。
• 参考スコア（独自算出の注目度）: 24.997494864875883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural images are often degraded by complex, composite degradations such as rain, snow, and haze, which adversely impact downstream vision applications. While existing image restoration efforts have achieved notable success, they are still hindered by two critical challenges: limited generalization across dynamically varying degradation scenarios and a suboptimal balance between preserving local details and modeling global dependencies. To overcome these challenges, we propose M2Restore, a novel Mixture-of-Experts (MoE)-based Mamba-CNN fusion framework for efficient and robust all-in-one image restoration. M2Restore introduces three key contributions: First, to boost the model's generalization across diverse degradation conditions, we exploit a CLIP-guided MoE gating mechanism that fuses task-conditioned prompts with CLIP-derived semantic priors. This mechanism is further refined via cross-modal feature calibration, which enables precise expert selection for various degradation types. Second, to jointly capture global contextual dependencies and fine-grained local details, we design a dual-stream architecture that integrates the localized representational strength of CNNs with the long-range modeling efficiency of Mamba. This integration enables collaborative optimization of global semantic relationships and local structural fidelity, preserving global coherence while enhancing detail restoration. Third, we introduce an edge-aware dynamic gating mechanism that adaptively balances global modeling and local enhancement by reallocating computational attention to degradation-sensitive regions. This targeted focus leads to more efficient and precise restoration. Extensive experiments across multiple image restoration benchmarks validate the superiority of M2Restore in both visual quality and quantitative performance.
• Abstract（参考訳）: 自然画像は、雨、雪、ヘイズなどの複雑な複合劣化によって劣化し、下流の視覚応用に悪影響を及ぼすことが多い。 既存の画像復元の取り組みは目覚ましい成功を収めたものの、動的に変化する劣化シナリオにまたがる限定的な一般化と、局所的な詳細を保存することとグローバルな依存関係をモデル化する際の最適以下のバランスという、2つの重要な課題によって妨げられている。 これらの課題を克服するために,我々はM2Restoreを提案する。M2Restoreは,M2Restoreという,M2Restoreをベースとした,効率的かつ堅牢なオールインワン画像復元のためのM2Restoreである。 M2Restoreは3つの重要なコントリビューションを紹介している。 まず、さまざまな劣化条件におけるモデルの一般化を促進するために、CLIPから派生したセマンティックプリミティブでタスク条件付きプロンプトを融合するCLIP誘導のMoEゲーティングメカニズムを利用する。 この機構はクロスモーダルな特徴キャリブレーションによってさらに洗練され、様々な劣化タイプの精密な専門家選択を可能にする。 次に,CNNの局所的表現強度と,Mambaの長距離モデリング効率を融合した2重ストリームアーキテクチャを設計する。 この統合により、グローバルな意味的関係と局所的な構造的忠実さの協調的な最適化が可能となり、細部復元の強化とともに、グローバルなコヒーレンスを保存することができる。 第3に,大域的モデリングと局所的拡張を適応的にバランスさせる,エッジ対応の動的ゲーティング機構を導入する。 この目標の焦点はより効率的で正確な修復につながる。 複数の画像復元ベンチマークにわたる大規模な実験は、視覚的品質と定量的性能の両方において、M2Restoreの優位性を検証する。

関連論文リスト

• RD-UIE: Relation-Driven State Space Modeling for Underwater Image Enhancement [59.364418120895]
  水中画像強調(UIE)は、海洋視覚応用のための重要な前処理ステップである。 実効UIE(RD-UIE)のための新しい関係駆動型マンバフレームワークを開発した。 水中強化ベンチマークの実験では、RD-UIEは最先端のアプローチであるWMambaよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-02T12:21:44Z)
• Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
  劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。 我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。 劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-19T09:54:46Z)
• An Efficient and Mixed Heterogeneous Model for Image Restoration [71.85124734060665]
  現在の主流のアプローチは、CNN、Transformers、Mambasの3つのアーキテクチャパラダイムに基づいている。 混合構造融合に基づく効率的で汎用的なIRモデルであるRestorMixerを提案する。
  論文  参考訳（メタデータ） (2025-04-15T08:19:12Z)
• Contrast: A Hybrid Architecture of Transformers and State Space Models for Low-Level Vision [3.574664325523221]
  textbfContrastは、textbfConvolutional、textbfTransformer、textbfState Spaceコンポーネントを組み合わせたハイブリッドSRモデルである。 変換器と状態空間機構を統合することで、textbfContrastは各アプローチの欠点を補償し、グローバルコンテキストモデリングとピクセルレベルの精度を向上させる。
  論文  参考訳（メタデータ） (2025-01-23T03:34:14Z)
• Detail Matters: Mamba-Inspired Joint Unfolding Network for Snapshot Spectral Compressive Imaging [40.80197280147993]
  本研究では,HSI再建の非線形および不適切な特徴を克服するために,マンバインスパイアされたジョイント・アンフォールディング・ネットワーク(MiJUN)を提案する。 本稿では,初期最適化段階への依存を減らすために,高速化された展開ネットワーク方式を提案する。 テンソルモード-$k$展開をMambaネットワークに統合することにより,Mambaによる走査戦略を洗練する。
  論文  参考訳（メタデータ） (2025-01-02T13:56:23Z)
• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• Restore Anything Model via Efficient Degradation Adaptation [129.38475243424563]
  RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。 RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
  論文  参考訳（メタデータ） (2024-07-18T10:26:53Z)
• Modality-Collaborative Transformer with Hybrid Feature Reconstruction for Robust Emotion Recognition [35.15390769958969]
  ハイブリッド特徴再構成(MCT-HFR)を用いた統一型モダリティ協調変換器を提案する。 MCT-HFRは、モダリティ内およびモダリティ間関係を同時に抽出し、動的にバランスをとる新しいアテンションベースのエンコーダで構成されている。 モデルトレーニング中、LFIは、完全特徴を監督信号として活用し、局所的欠落した特徴を回復する一方、GFAはペア完全表現と不完全表現のグローバルな意味的ギャップを減らすように設計されている。
  論文  参考訳（メタデータ） (2023-12-26T01:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。