論文の概要: Language-Depth Navigated Thermal and Visible Image Fusion
- arxiv url: http://arxiv.org/abs/2503.08676v1
- Date: Tue, 11 Mar 2025 17:55:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 15:42:24.025482
- Title: Language-Depth Navigated Thermal and Visible Image Fusion
- Title（参考訳）: 言語深度ナビゲートによる熱・可視画像融合
- Authors: Jinchang Zhang, Zijun Li, Guoyu Lu,
- Abstract要約: 既存の熱可視画像融合は、主に検出タスクに焦点を当てており、深さなどの他の重要な情報を無視している。
テキスト誘導・深度駆動型赤外線・可視画像融合ネットワークを提案する。
これは、自律運転や救助任務のようなアプリケーションにおける正確な認識と効率的な操作をサポートする。
- 参考スコア（独自算出の注目度）: 11.473316170288166
- License:
- Abstract: Depth-guided multimodal fusion combines depth information from visible and infrared images, significantly enhancing the performance of 3D reconstruction and robotics applications. Existing thermal-visible image fusion mainly focuses on detection tasks, ignoring other critical information such as depth. By addressing the limitations of single modalities in low-light and complex environments, the depth information from fused images not only generates more accurate point cloud data, improving the completeness and precision of 3D reconstruction, but also provides comprehensive scene understanding for robot navigation, localization, and environmental perception. This supports precise recognition and efficient operations in applications such as autonomous driving and rescue missions. We introduce a text-guided and depth-driven infrared and visible image fusion network. The model consists of an image fusion branch for extracting multi-channel complementary information through a diffusion model, equipped with a text-guided module, and two auxiliary depth estimation branches. The fusion branch uses CLIP to extract semantic information and parameters from depth-enriched image descriptions to guide the diffusion model in extracting multi-channel features and generating fused images. These fused images are then input into the depth estimation branches to calculate depth-driven loss, optimizing the image fusion network. This framework aims to integrate vision-language and depth to directly generate color-fused images from multimodal inputs.
- Abstract（参考訳）: 奥行き誘導型マルチモーダル融合は、可視画像と赤外線画像からの深度情報を組み合わせて、3D再構成とロボット工学の応用性能を大幅に向上させる。
既存の熱可視画像融合は、主に検出タスクに焦点を当てており、深さなどの他の重要な情報を無視している。
低照度・複雑な環境における単一モードの制限に対処することにより、融合画像からの深度情報はより正確な点雲データを生成するだけでなく、3D再構成の完全性や精度を向上させるとともに、ロボットナビゲーション、ローカライゼーション、環境認識のための総合的なシーン理解も提供する。
これは、自律運転や救助任務のようなアプリケーションにおける正確な認識と効率的な操作をサポートする。
テキスト誘導・深度駆動型赤外線・可視画像融合ネットワークを提案する。
このモデルは、拡散モデルを介して多チャンネル補完情報を抽出する画像融合枝と、テキスト誘導モジュールと、2つの補助深度推定枝とから構成される。
融合ブランチは、CLIPを使用して、深度に富んだ画像記述から意味情報やパラメータを抽出し、拡散モデルを誘導し、多チャンネルの特徴を抽出し、融合した画像を生成する。
これらの融合画像は、深度推定枝に入力され、深度駆動損失を計算し、画像融合ネットワークを最適化する。
このフレームワークは、視覚言語と深度を統合し、マルチモーダル入力から直接カラーフューズ画像を生成することを目的としている。
関連論文リスト
- DAF-Net: A Dual-Branch Feature Decomposition Fusion Network with Domain Adaptive for Infrared and Visible Image Fusion [21.64382683858586]
赤外線と可視画像の融合は、両モードの相補的な情報を組み合わせて、より包括的なシーン理解を提供することを目的としている。
最大領域適応型デュアルブランチ機能分解融合ネットワーク(DAF-Net)を提案する。
MK-MMDを導入することで、DAF-Netは可視画像と赤外線画像の潜在特徴空間を効果的に整列し、融合画像の品質を向上させる。
論文 参考訳（メタデータ） (2024-09-18T02:14:08Z) - Depth-guided Texture Diffusion for Image Semantic Segmentation [47.46257473475867]
本稿では,この課題を効果的に解決するディープスガイド型テクスチャ拡散手法を提案する。
本手法は,テクスチャ画像を作成するために,エッジやテクスチャから低レベル特徴を抽出する。
この拡張深度マップを元のRGB画像と結合した特徴埋め込みに統合することにより,深度マップと画像との相違を効果的に橋渡しする。
論文 参考訳（メタデータ） (2024-08-17T04:55:03Z) - A Semantic-Aware and Multi-Guided Network for Infrared-Visible Image Fusion [41.34335755315773]
マルチモダリティ画像融合は、2つのソース画像から特定のモダリティ情報と共有モダリティ情報を融合することを目的としている。
本稿では,3分岐エンコーダデコーダアーキテクチャと,それに対応する融合層を融合戦略として提案する。
可視・近赤外画像融合および医用画像融合タスクにおける最先端手法と比較して,本手法は競争力のある結果を得た。
論文 参考訳（メタデータ） (2024-06-11T09:32:40Z) - RigNet++: Semantic Assisted Repetitive Image Guided Network for Depth
Completion [31.70022495622075]
画像案内ネットワークにおける繰り返し設計を探索し、徐々に十分に深度を復元する。
前者では,複雑な環境の識別画像の特徴を抽出するために,高密度繰り返し時間ガラスネットワーク(DRHN)を設計する。
後者では,動的畳み込みに基づく反復誘導(RG)モジュールを提案する。
さらに,領域認識型空間伝搬ネットワーク(RASPN)を提案する。
論文 参考訳（メタデータ） (2023-09-01T09:11:20Z) - An Interactively Reinforced Paradigm for Joint Infrared-Visible Image
Fusion and Saliency Object Detection [59.02821429555375]
この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。
経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。
マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
論文 参考訳（メタデータ） (2023-05-17T06:48:35Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [68.78897015832113]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2022-11-20T12:02:07Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳（メタデータ） (2022-03-09T17:20:18Z) - EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-21T10:47:26Z) - Volumetric Propagation Network: Stereo-LiDAR Fusion for Long-Range Depth
Estimation [81.08111209632501]
長距離深度推定のための幾何認識型ステレオLiDAR融合ネットワークを提案する。
ステレオ画像の対応を統一した3Dボリューム空間で導くためのキューとして、スパースで正確な点群を活用します。
我々のネットワークは,KITTIおよびVirtual-KITTIデータセット上での最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-03-24T03:24:46Z) - A Single Stream Network for Robust and Real-time RGB-D Salient Object
Detection [89.88222217065858]
我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。
このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
論文 参考訳（メタデータ） (2020-07-14T04:40:14Z) - Deep Convolutional Sparse Coding Networks for Image Fusion [29.405149234582623]
深層学習は画像融合の重要なツールとして登場した。
本稿では,3種類の画像融合タスクのための3種類の深部畳み込みスパース符号化(CSC)ネットワークを提案する。
論文 参考訳（メタデータ） (2020-05-18T04:12:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。