論文の概要: Breaking Free from Fusion Rule: A Fully Semantic-driven Infrared and Visible Image Fusion

• arxiv url: http://arxiv.org/abs/2211.12286v1
• Date: Tue, 22 Nov 2022 13:59:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 18:18:48.941955
• Title: Breaking Free from Fusion Rule: A Fully Semantic-driven Infrared and Visible Image Fusion
• Title（参考訳）: 核融合ルールから脱却する: 完全にセマンティックな赤外線と可視的な画像融合
• Authors: Yuhui Wu, Zhu Liu, Jinyuan Liu, Xin Fan, Risheng Liu
• Abstract要約: 赤外線と可視画像の融合はコンピュータビジョンの分野において重要な役割を果たす。 従来のアプローチでは、損失関数の様々な融合ルールを設計する努力が続けられていた。 セマンティックガイダンスを十分に活用する意味レベル融合ネットワークを開発した。
• 参考スコア（独自算出の注目度）: 51.22863068854784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Infrared and visible image fusion plays a vital role in the field of computer vision. Previous approaches make efforts to design various fusion rules in the loss functions. However, these experimental designed fusion rules make the methods more and more complex. Besides, most of them only focus on boosting the visual effects, thus showing unsatisfactory performance for the follow-up high-level vision tasks. To address these challenges, in this letter, we develop a semantic-level fusion network to sufficiently utilize the semantic guidance, emancipating the experimental designed fusion rules. In addition, to achieve a better semantic understanding of the feature fusion process, a fusion block based on the transformer is presented in a multi-scale manner. Moreover, we devise a regularization loss function, together with a training strategy, to fully use semantic guidance from the high-level vision tasks. Compared with state-of-the-art methods, our method does not depend on the hand-crafted fusion loss function. Still, it achieves superior performance on visual quality along with the follow-up high-level vision tasks.
• Abstract（参考訳）: 赤外線と可視画像融合は、コンピュータビジョンの分野で重要な役割を果たす。 従来のアプローチでは、損失関数の様々な融合ルールを設計する努力が続けられていた。 しかしながら、これらの実験的に設計された融合規則は、メソッドをより複雑にする。 さらに、視覚効果の向上にのみ重点を置いているため、後続のハイレベルな視覚タスクのパフォーマンスが不十分である。 これらの課題に対処するため、本稿では、セマンティックガイダンスを十分に活用する意味レベル融合ネットワークを開発し、実験設計の融合ルールを策定する。 さらに,特徴融合プロセスのセマンティック理解を向上するために,変換器に基づく融合ブロックをマルチスケールで提示する。 さらに,訓練戦略とともに正規化損失関数を考案し,高レベルビジョンタスクから意味的指導を十分に活用する。 最先端手法と比較して,本手法は手作り核融合損失関数に依存しない。 それでも、後続のハイレベルなビジョンタスクとともに、視覚品質の優れたパフォーマンスを達成しています。

関連論文リスト

• MaeFuse: Transferring Omni Features with Pretrained Masked Autoencoders for Infrared and Visible Image Fusion via Guided Training [57.18758272617101]
  MaeFuseは、赤外線および可視画像融合(IVIF)用に設計された新しいオートエンコーダモデルである 提案モデルでは,MAE(Masked Autoencoders)の事前訓練エンコーダを用いて,低レベル再構成と高レベル視覚タスクのためのオムニ特徴抽出機能を備えている。 MaeFuseは、融合技術という領域で新しい視点を導入するだけでなく、様々な公開データセットで顕著なパフォーマンスで際立っている。
  論文  参考訳（メタデータ） (2024-04-17T02:47:39Z)
• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• Bi-level Dynamic Learning for Jointly Multi-modality Image Fusion and Beyond [50.556961575275345]
  補完特性とカスケード二重タスク関連モジュールを融合する画像融合モジュールを構築した。 本研究では, 高速な1次近似により対応する勾配を計算し, 融合学習のための勾配のバランスをとるための動的重み付けアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:55:34Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
  上記の問題に対処するために,教師なし適応画像融合法を提案する。 入力元画像間の画素の接続を計測するグローバルマップを構築した。 本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-01-25T07:50:14Z)
• TGFuse: An Infrared and Visible Image Fusion Approach Based on Transformer and Generative Adversarial Network [15.541268697843037]
  本稿では,軽量トランスモジュールと対向学習に基づく赤外可視画像融合アルゴリズムを提案する。 大域的相互作用力にインスパイアされた我々は、トランスフォーマー技術を用いて、効果的な大域的核融合関係を学習する。 実験により提案したモジュールの有効性が実証された。
  論文  参考訳（メタデータ） (2022-01-25T07:43:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。