論文の概要: ControlFusion: A Controllable Image Fusion Framework with Language-Vision Degradation Prompts
- arxiv url: http://arxiv.org/abs/2503.23356v1
- Date: Sun, 30 Mar 2025 08:18:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 19:35:57.077586
- Title: ControlFusion: A Controllable Image Fusion Framework with Language-Vision Degradation Prompts
- Title（参考訳）: ControlFusion: 言語ビジョン劣化プロンプトを備えた制御可能なイメージフュージョンフレームワーク
- Authors: Linfeng Tang, Yeda Wang, Zhanchuan Cai, Junjun Jiang, Jiayi Ma,
- Abstract要約: 現在の画像融合法は、現実の撮像シナリオで発生する複合劣化に対処するのに苦労している。
複合劣化を適応的に中和する制御フュージョンを提案する。
実験では、制御フュージョンは、融合品質と劣化処理においてSOTA融合法より優れている。
- 参考スコア（独自算出の注目度）: 58.99648692413168
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current image fusion methods struggle to address the composite degradations encountered in real-world imaging scenarios and lack the flexibility to accommodate user-specific requirements. In response to these challenges, we propose a controllable image fusion framework with language-vision prompts, termed ControlFusion, which adaptively neutralizes composite degradations. On the one hand, we develop a degraded imaging model that integrates physical imaging mechanisms, including the Retinex theory and atmospheric scattering principle, to simulate composite degradations, thereby providing potential for addressing real-world complex degradations from the data level. On the other hand, we devise a prompt-modulated restoration and fusion network that dynamically enhances features with degradation prompts, enabling our method to accommodate composite degradation of varying levels. Specifically, considering individual variations in quality perception of users, we incorporate a text encoder to embed user-specified degradation types and severity levels as degradation prompts. We also design a spatial-frequency collaborative visual adapter that autonomously perceives degradations in source images, thus eliminating the complete dependence on user instructions. Extensive experiments demonstrate that ControlFusion outperforms SOTA fusion methods in fusion quality and degradation handling, particularly in countering real-world and compound degradations with various levels.
- Abstract（参考訳）: 現在の画像融合法は、現実の撮像シナリオで発生する複合劣化に対処するのに苦労し、ユーザ固有の要件を満たす柔軟性に欠ける。
これらの課題に対応するために,複合劣化を適応的に中和する制御フュージョンと呼ばれる言語ビジョンプロンプトを用いた制御可能な画像融合フレームワークを提案する。
一方,レチネックス理論や大気散乱原理を含む物理イメージング機構を統合した劣化イメージングモデルを構築し,複合劣化のシミュレーションを行い,データレベルから実世界の複雑な劣化に対処する可能性を提供する。
一方, 劣化プロンプトにより動的に特徴を増強し, 様々なレベルの複合劣化に対応するプロンプト変調修復・融合ネットワークを考案した。
具体的には、ユーザの品質知覚の個人差を考慮し、テキストエンコーダを組み込んで、ユーザが特定した劣化タイプと重大度レベルを、劣化のプロンプトとして埋め込む。
また、ソース画像の劣化を自律的に知覚する空間周波数協調型ビジュアルアダプターを設計し、ユーザ指示への依存を完全に排除する。
ControlFusionは, 核融合の品質と劣化処理においてSOTA融合法より優れており, 実世界や化合物の劣化に対して様々なレベルで対応している。
関連論文リスト
- Robust Fusion Controller: Degradation-aware Image Fusion with Fine-grained Language Instructions [26.269399073437903]
現在の画像融合法は、空間的に異なる特徴を持つ多様な劣化を含む現実世界環境への適応に苦慮している。
微細な言語命令を通した分解認識画像融合を実現する頑健な融合制御器を提案する。
私たちのRFCは、特に非常に困難なフレアシナリオにおいて、様々な複合劣化に対して堅牢です。
論文 参考訳（メタデータ） (2025-04-08T08:22:55Z) - OneRestore: A Universal Restoration Framework for Composite Degradation [33.556183375565034]
現実のシナリオでは、画像障害はしばしば複合的な劣化として現れ、低光、迷路、雨、雪といった要素の複雑な相互作用を示す。
本研究では, 複雑な複合劣化シナリオを正確に表現するために, 4つの物理劣化パラダイムを統合した多目的イメージングモデルを提案する。
OneRestoreは、適応的で制御可能なシーン復元のために設計された新しいトランスフォーマーベースのフレームワークである。
論文 参考訳（メタデータ） (2024-07-05T16:27:00Z) - Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。
我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。
また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
論文 参考訳（メタデータ） (2024-07-04T05:01:10Z) - Suppressing Uncertainties in Degradation Estimation for Blind Super-Resolution [31.89605287039615]
ブラインド画像の超解像問題は、未知の劣化モードで低解像度(LR)画像から高解像度(HR)画像を復元することを目的としている。
既存のほとんどの手法は、ぼやけたカーネルを使って画像劣化過程をモデル化している。
盲目的のtextbf Super-textbfResolution フレームワークに対して,textbfUncertainty に基づく分解表現を提案する。
論文 参考訳（メタデータ） (2024-06-24T08:58:43Z) - DeeDSR: Towards Real-World Image Super-Resolution via Degradation-Aware Stable Diffusion [27.52552274944687]
低解像度画像のコンテンツや劣化を認識する拡散モデルの能力を高める新しい2段階の劣化認識フレームワークを提案する。
最初の段階では、教師なしのコントラスト学習を用いて画像劣化の表現を得る。
第2段階では、分解対応モジュールを単純化されたControlNetに統合し、様々な劣化への柔軟な適応を可能にします。
論文 参考訳（メタデータ） (2024-03-31T12:07:04Z) - Strong and Controllable Blind Image Decomposition [57.682079186903195]
ブラインド画像分解は、画像に存在するすべてのコンポーネントを分解することを目的としている。
ユーザーは著作権保護のために、透かしなどの特定の劣化を保ちたいかもしれない。
制御可能なブラインド画像分解ネットワークというアーキテクチャを設計する。
論文 参考訳（メタデータ） (2024-03-15T17:59:44Z) - Reti-Diff: Illumination Degradation Image Restoration with Retinex-based
Latent Diffusion Model [59.08821399652483]
照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。
これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。
我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。
Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
論文 参考訳（メタデータ） (2023-11-20T09:55:06Z) - Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for
Loss-free Multi-Exposure Image Fusion [60.221404321514086]
マルチ露光画像融合(MEF)は、様々な露光レベルを表すデジタルイメージングの限界に対処するための重要な解決策である。
本稿では、ネットワーク構造と損失関数の両方を自動設計するための二段階最適化探索方式であるHSDS-MEFと呼ばれるMEFのためのハイブリッドスーパービジョンデュアルサーチ手法を提案する。
論文 参考訳（メタデータ） (2023-09-03T08:07:26Z) - Bridging Component Learning with Degradation Modelling for Blind Image
Super-Resolution [69.11604249813304]
視覚障害者のためのコンポーネント分解・協調最適化ネットワーク(CDCN)を提案する。
CDCNは入力LR画像を特徴空間の構造と詳細成分に分解する。
本稿では,HR画像の細部と構造復元過程を協調的に監督する,劣化駆動型学習戦略を提案する。
論文 参考訳（メタデータ） (2022-12-03T14:53:56Z) - Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。
特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
論文 参考訳（メタデータ） (2020-03-02T13:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。