論文の概要: HP-UniIF: Hierarchical Prompt Learning for Unified Image Fusion
- arxiv url: http://arxiv.org/abs/2608.21786v1
- Date: Sat, 22 Aug 2026 05:36:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 18:24:36.926537
- Title: HP-UniIF: Hierarchical Prompt Learning for Unified Image Fusion
- Title(参考訳): HP-UniIF:統一画像融合のための階層型プロンプト学習
- Abstract要約: 一般的な画像融合は、複数のソース画像から補完的な情報を統合しようとする。
我々は,異種融合,視覚回復,下流知覚を橋渡しする拡散前処理を利用する統合視覚フレームワークHP-UniIFを提案する。
- 参考スコア(独自算出の注目度): 14.759665227535173
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: General image fusion seeks to integrate complementary information from multiple source images, yet real-world applications often require a single system to support heterogeneous fusion, degradation restoration, and task-oriented perception simultaneously. Existing unified frameworks struggle with these orthogonal objectives, resulting in entangled representations and degraded performance across subtasks. We propose HP-UniIF, a unified vision framework that leverages diffusion priors to bridge heterogeneous fusion, visual restoration, and downstream perception. To address the limited adaptability of diffusion models to domain-, degradation-, and task-level objectives within one pipeline, HP-UniIF introduces a depth-wise hierarchical conditional modulation strategy that decouples these objectives across network stages. Task prompt modulation at bottleneck layers adapts the backbone to different fusion paradigms, the degradation prompt router at shallow layers injects degradation-aware constraints for local restoration, and the application prompt bank at decoding stages aligns generation with downstream tasks. This hierarchical design enables HP-UniIF to produce visually faithful results while preserving task-relevant semantics. Extensive experiments across multiple fusion tasks, diverse degradations, and various downstream applications demonstrate the superior performance of HP-UniIF.
- Abstract(参考訳): 一般画像融合は、複数のソース画像から補完的な情報を統合しようとするが、実世界のアプリケーションでは、異種融合、劣化回復、タスク指向の知覚を同時にサポートする単一のシステムを必要とすることが多い。
既存の統合フレームワークはこれらの直交的な目的に苦しむため、絡み合った表現とサブタスク全体のパフォーマンスが低下する。
我々は,異種融合,視覚回復,下流知覚を橋渡しする拡散前処理を利用する統合視覚フレームワークHP-UniIFを提案する。
拡散モデルの1つのパイプライン内でのドメイン、分解、タスクレベルの目的への限定的な適応性に対処するため、HP-UniIFは、これらの目的をネットワークステージ間で分離する深度的に階層的な条件変調戦略を導入している。
ボトルネックレイヤでのタスクプロンプト変調は、異なる融合パラダイムにバックボーンを適応させ、浅いレイヤでの劣化プロンプトルータは、局所的な復元のための劣化対応の制約を注入し、デコード段階のアプリケーションプロンプトバンクは、下流タスクと生成を整合させる。
この階層設計により、HP-UniIFはタスク関連セマンティクスを保持しながら、視覚的に忠実な結果を生成することができる。
複数の核融合タスク、多様な劣化、および様々な下流アプリケーションにわたる大規模な実験は、HP-UniIFの優れた性能を示している。
関連論文リスト
- Degradation-Robust Fusion: An Efficient Degradation-Aware Diffusion Framework for Multimodal Image Fusion in Arbitrary Degradation Scenarios [34.660999867031386]
ノイズ、ぼかし、低解像度といった複雑な劣化は、実世界の画像融合タスクにおける典型的な課題である。
本稿では,任意の劣化シナリオ下での画像融合のための効率的な劣化認識拡散フレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-10T03:34:53Z) - Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。
近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。
我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
論文 参考訳(メタデータ) (2026-04-01T14:32:15Z) - UniFusion: A Unified Image Fusion Framework with Robust Representation and Source-Aware Preservation [18.352691348247294]
We propose UniFusion, a unified image fusion framework to achieve cross-task generalization。
融合出力と入力の整合性を維持するために再構成調整損失を導入する。
複数の融合タスクにわたる実験は、UniFusionの優れた視覚的品質、一般化能力、現実のシナリオへの適応性を示す。
論文 参考訳(メタデータ) (2026-03-15T04:07:06Z) - Reversible Efficient Diffusion for Image Fusion [66.35113261837469]
マルチモーダル画像融合は、様々なソース画像からの補完情報を統一表現に統合することを目的としている。
拡散モデルは画像生成において顕著な生成能力を示してきたが、画像融合タスクに適用した場合、しばしば細かな損失に悩まされる。
この問題はマルコフ過程に固有のノイズ誤差の蓄積から発生し、融合した結果の不整合と劣化をもたらす。
本稿では,分散推定を回避しつつ,拡散モデルの強力な生成能力を継承する,明示的な教師付きトレーニングフレームワークであるReversible Efficient Diffusion(RED)モデルを提案する。
論文 参考訳(メタデータ) (2026-01-28T05:14:55Z) - Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。
パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
論文 参考訳(メタデータ) (2025-12-08T05:04:54Z) - MdaIF: Robust One-Stop Multi-Degradation-Aware Image Fusion with Language-Driven Semantics [8.783211177601045]
赤外線と可視画像の融合は、相補的なマルチモーダル情報を単一の融合結果に統合することを目的としている。
大規模言語モデル(MdaIF)により駆動される多段劣化シナリオのためのワンストップ劣化認識画像融合フレームワークを提案する。
気象に配慮した多様な劣化知識とシーン特徴表現を適応的に抽出するために,我々は,事前学習された視覚言語モデル(VLM)をフレームワークに採用する。
論文 参考訳(メタデータ) (2025-11-16T09:43:12Z) - Learning to Restore Multi-Degraded Images via Ingredient Decoupling and Task-Aware Path Adaptation [51.10017611491389]
現実のイメージは、雨、騒音、ヘイズのような複数の共存する劣化に悩まされることが多い。
本稿では, 劣化成分の分解表現を利用して, 画像の再構成を行う適応型多重劣化画像復元ネットワークを提案する。
その結果、IMDNetと呼ばれる密に統合されたアーキテクチャは、実験を通じて広範囲に検証されている。
論文 参考訳(メタデータ) (2025-11-07T01:50:36Z) - Efficient Rectified Flow for Image Fusion [48.330480065862474]
本稿では,画像融合のための1ステップの効率的な拡散モデルであるRFfusionを提案する。
また,画像融合に適したタスク固有の変分オートエンコーダアーキテクチャを提案する。
提案手法は,推算速度と融合品質の両方の観点から,他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2025-09-20T06:21:00Z) - Dual-Domain Perspective on Degradation-Aware Fusion: A VLM-Guided Robust Infrared and Visible Image Fusion Framework [9.915632806109555]
GD2Fusionは、分解知覚のための視覚言語モデルと二重領域(周波数/空間)共同最適化を統合する新しいフレームワークである。
既存のアルゴリズムやデュアルソースの劣化シナリオの戦略と比較して、融合性能が優れている。
論文 参考訳(メタデータ) (2025-09-05T10:48:46Z) - SGDFuse: SAM-Guided Diffusion for High-Fidelity Infrared and Visible Image Fusion [65.80051636480836]
本稿では,Segment Anything Model(SAM)によって導かれる条件拡散モデルを提案する。
このフレームワークは2段階のプロセスで動作し、まずマルチモーダルな特徴の予備的な融合を行い、その後、拡散モデルの粗大な分極生成を駆動する条件としてセマンティックマスクを利用する。
SGDFuseは主観的評価と客観的評価の両方において最先端の性能を発揮することを示す。
論文 参考訳(メタデータ) (2025-08-07T10:58:52Z) - UniLDiff: Unlocking the Power of Diffusion Priors for All-in-One Image Restoration [16.493990086330985]
UniLDiffは、デグレッションとディテールを意識したメカニズムで強化された統合フレームワークである。
劣化認識機能融合(DAFF:Degradation-Aware Feature Fusion)を導入し,低品質機能を各段階に動的に注入する。
また,Detail-Aware Expert Module (DAEM) をデコーダ内に設計し,テクスチャと微細構造の回復性を高める。
論文 参考訳(メタデータ) (2025-07-31T16:02:00Z) - DSPFusion: Image Fusion via Degradation and Semantic Dual-Prior Guidance [48.84182709640984]
既存の融合法は高品質な画像に向いているが、厳しい状況下で撮影された劣化画像に苦慮している。
この研究は、textbfDegradation と textbfSemantic textbfPrior による劣化画像 textbfFusion (textbfDSPFusion) のための二重誘導フレームワークを提示する。
論文 参考訳(メタデータ) (2025-03-30T08:18:50Z) - UniRestore: Unified Perceptual and Task-Oriented Image Restoration Model Using Diffusion Prior [56.35236964617809]
画像復元は、悪天候、ぼやけ、騒音などの様々な要因によって劣化した入力からコンテンツを回復することを目的としている。
本稿では,PIRとTIRのギャップを埋める統一画像復元モデルUniRestoreを紹介する。
本稿では,分解エンコーダの特徴を再構築するための補足的特徴回復モジュール (CFRM) と,デコーダの適応的特徴融合を容易にするタスク特徴適応モジュール (TFA) を提案する。
論文 参考訳(メタデータ) (2025-01-22T08:06:48Z) - Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
画像融合の本質は、ソース画像からの相補的な情報を統合することである。
DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
論文 参考訳(メタデータ) (2024-10-16T06:28:49Z) - Specularity Factorization for Low-Light Enhancement [2.7961648901433134]
本稿では,複数の潜伏成分からなる画像を扱う付加的な画像分解手法を提案する。
当社のモデル駆動型EM RSFNetは,最適化をネットワーク層に展開することで,これらの要因を推定する。
結果の因子は設計によって解釈可能であり、ネットワークを介して異なる画像強調タスクに融合したり、直接ユーザによって結合したりすることができる。
論文 参考訳(メタデータ) (2024-04-02T14:41:42Z) - Unified-Width Adaptive Dynamic Network for All-In-One Image Restoration [50.81374327480445]
本稿では, 複雑な画像劣化を基本劣化の観点で表現できる, という新しい概念を提案する。
We propose the Unified-Width Adaptive Dynamic Network (U-WADN) which consist of two pivotal components: a Width Adaptive Backbone (WAB) and a Width Selector (WS)。
提案したU-WADNは、最大32.3%のFLOPを同時に削減し、約15.7%のリアルタイム加速を実現している。
論文 参考訳(メタデータ) (2024-01-24T04:25:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。