論文の概要: ProtoFusion: Protocol-Guided Prompt Refinement for Generative Infrared and Visible Image Fusion
- arxiv url: http://arxiv.org/abs/2611.02877v1
- Date: Mon, 02 Nov 2026 10:13:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 14:40:46.749554
- Title: ProtoFusion: Protocol-Guided Prompt Refinement for Generative Infrared and Visible Image Fusion
- Title（参考訳）: ProtoFusion: 生成赤外線および可視画像融合のためのプロトコルガイド型プロンプトリファインメント
- Abstract要約: ProtoFusionは、赤外線および可視画像融合のためのプロトコル誘導生成フレームワークである。
これは、環境状態カード、基底原理、スタイルプロファイルからなる構造化プロトコルとの融合意図を表す。
ProtoFusionは定量的性能を改善し、美的評価において良好な結果を得るとともに、視覚的にコヒーレントな融合出力を生成する。
- 参考スコア（独自算出の注目度）: 93.83317198331531
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Infrared and visible image fusion integrates complementary information from both modalities to provide a more comprehensive representation of the scene. We propose ProtoFusion, a protocol-guided generative framework for infrared and visible image fusion. Instead of relying on fixed fusion operators, hand-crafted objectives, or manually specified one-shot prompts, ProtoFusion formulates fusion as protocol-constrained generation. It represents fusion intent with a structured protocol, consisting of environment state cards, grounding principles, and a style profile, which explicitly specifies which evidence should be preserved or suppressed and which properties the fused result should satisfy. To optimize this protocol, we introduce protocol-guided prompt refinement, a closed-loop learning framework that iteratively performs generation, evaluation, and revision under multimodal evidence. Once learned, the optimized protocol is fixed at inference time and directly guides fusion generation. To address residual source inconsistencies, we further incorporate structured belief construction, which organizes modality reliability, scene evidence, and cross-modal conflicts into a structured representation for conservative correction after generation. Extensive experiments on standard benchmarks show that ProtoFusion improves quantitative performance, achieves favorable results in aesthetic evaluation, and produces visually coherent fusion outputs. Project Page: {https://erfect2020.github.io/ProtoFusion/}.
- Abstract（参考訳）: 赤外線と可視画像の融合は、両方のモダリティからの補完情報を統合し、シーンのより包括的な表現を提供する。
本稿では,赤外線および可視画像融合のためのプロトコル誘導型生成フレームワークであるProtoFusionを提案する。
固定核融合演算子、手作りの目的、手動で指定したワンショットプロンプトに頼る代わりに、ProtoFusionはプロトコル制約生成として核融合を定式化する。
これは、環境状態カード、基礎原理、スタイルプロファイルからなる構造化されたプロトコルとの融合意図を表しており、どのエビデンスを保存または抑制するか、どの特性を融合結果が満足するかを明確に規定している。
このプロトコルを最適化するために、マルチモーダルなエビデンスの下で繰り返し生成、評価、リビジョンを行うクローズドループ学習フレームワークであるプロトコル誘導プロンプトリファインメントを導入する。
一度学習すると、最適化されたプロトコルは推論時に固定され、融合生成を直接ガイドする。
残震源の不整合に対処するために,モダリティの信頼性,シーン証拠,およびクロスモーダルコンフリクトを整理した構造的信念構築を,生成後の保守的修正のための構造的表現に組み入れた。
標準ベンチマークでの大規模な実験により、ProtoFusionは定量的性能を改善し、美的評価において良好な結果をもたらし、視覚的にコヒーレントな融合出力を生成することが示された。
Project Page: {https://erfect2020.github.io/ProtoFusion/}
関連論文リスト
- Consensus-Aware Multi-Source Fusion for Reference-Guided Camouflaged Object Detection [5.724220983287562]
カモフラージュオブジェクト検出のためのコンセンサス対応多ソース融合フレームワークを提案する。
このフレームワークは、相互参照コンセンサスアグリゲーションを通じて複数の参照を集約し、クエリ機能にマッチしたセマンティックディープで参照情報を注入する。
論文 参考訳（メタデータ） (2026-09-30T01:31:22Z) - Unleashing the Power of Text: Text-Guided Flow Matching for Image Fusion under Complex Degradations [50.60539317126614]
現実的な劣化シナリオ下での赤外線可視画像融合は難しい課題である。
最近の研究は、テキストが劣化特性に関する事前情報を提供できることを示している。
テキスト誘導型潜在空間フローマッチングフレームワークであるTGFusionを提案する。
論文 参考訳（メタデータ） (2026-08-01T08:43:26Z) - LaP-Forensics: Latent-Pixel Consistency Guided Multimodal Reasoning for Deepfake Detection [11.780720481629837]
本稿では,RGBセマンティクスを再構築に基づく法医学的証拠で強化するフレームワークであるLaP-Forensicsを紹介する。
独立プロジェクタは、構造化されたWhere-What-Whyモデルの前にRGBイメージと残留マップを符号化し、テキスト解析とアーティファクトマスクを予測する。
実験では、UniversalFakeDetect上でのクロスジェネレータ検出と、公式のSynthScarsベンチマークでの競合アーティファクトローカライゼーションが示されている。
論文 参考訳（メタデータ） (2026-07-28T16:45:52Z) - EvaNet: Towards More Efficient and Consistent Infrared and Visible Image Fusion Assessment [63.853717062482815]
画像融合研究において評価は不可欠であるが、既存の指標のほとんどは、適切な適応なしに他の視覚タスクから直接借用されている。
画像融合に適した統合評価フレームワークを提案する。
我々の学習に基づく評価パラダイムは、様々な標準画像融合ベンチマークにおいて、優れた効率(最大1000倍高速)とより優れた一貫性を提供する。
論文 参考訳（メタデータ） (2026-04-03T09:12:16Z) - FusionRegister: Every Infrared and Visible Image Fusion Deserves Registration [19.632037446234104]
近赤外・可視画像融合タスクにおいて,視覚的先行性によって誘導されるクロスモダリティ登録法を提案する。
3つのデータセットの実験によると、FusionRegisterは、最先端のメソッドの融合品質を継承するだけでなく、より詳細なアライメントと堅牢性を提供する。
論文 参考訳（メタデータ） (2026-03-08T14:59:32Z) - CtrlFuse: Mask-Prompt Guided Controllable Infrared and Visible Image Fusion [51.060328159429154]
赤外線と可視画像の融合は、相補的なモダリティを組み合わせることで、全天候の知覚可能な画像を生成する。
我々は,マスクプロンプトによって誘導されるインタラクティブな動的融合を可能にする,制御可能な画像融合フレームワークであるCtrlFuseを提案する。
実験では、融合制御性とセグメンテーション精度の両立を実証し、適応されたタスク分岐は元のセグメンテーションモデルよりも優れていた。
論文 参考訳（メタデータ） (2026-01-12T13:36:48Z) - Revisiting Generative Infrared and Visible Image Fusion Based on Human Cognitive Laws [25.147481162887136]
既存の赤外線と可視画像の融合法は、しばしばモーダル情報のバランスをとるジレンマに直面している。
この写本は、人間の認知法則のインスピレーションのもと、生成的画像融合の本質を再考する。
HCLFuseと呼ばれる新しい赤外線可視画像融合法を提案する。
論文 参考訳（メタデータ） (2025-10-30T08:53:13Z) - SGDFuse: SAM-Guided Diffusion for High-Fidelity Infrared and Visible Image Fusion [65.80051636480836]
本稿では,Segment Anything Model(SAM)によって導かれる条件拡散モデルを提案する。
このフレームワークは2段階のプロセスで動作し、まずマルチモーダルな特徴の予備的な融合を行い、その後、拡散モデルの粗大な分極生成を駆動する条件としてセマンティックマスクを利用する。
SGDFuseは主観的評価と客観的評価の両方において最先端の性能を発揮することを示す。
論文 参考訳（メタデータ） (2025-08-07T10:58:52Z) - LRRNet: A Novel Representation Learning Guided Fusion Network for
Infrared and Visible Images [98.36300655482196]
我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。
特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。
この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
論文 参考訳（メタデータ） (2023-04-11T12:11:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。