論文の概要: MISFIT-V: Misaligned Image Synthesis and Fusion using Information from Thermal and Visual

• arxiv url: http://arxiv.org/abs/2309.13216v1
• Date: Fri, 22 Sep 2023 23:41:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 21:35:12.596540
• Title: MISFIT-V: Misaligned Image Synthesis and Fusion using Information from Thermal and Visual
• Title（参考訳）: MISFIT-V:熱・視覚情報を用いた画像合成と融合
• Authors: Aadhar Chauhan, Isaac Remy, Danny Broyles, and Karen Leung
• Abstract要約: 本研究は、熱・視覚情報を用いた画像合成と融合のミスアライメントを提示する(MISFIT-V)。 GAN(Generative Adversarial Network)とクロスアテンション機構を利用して、各モードから最も関連性の高い特徴をキャプチャする。 実験結果からMISFIT-Vは, 配向不良や照明・熱環境の悪化に対して強靭性を示した。
• 参考スコア（独自算出の注目度）: 2.812395851874055
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Detecting humans from airborne visual and thermal imagery is a fundamental challenge for Wilderness Search-and-Rescue (WiSAR) teams, who must perform this function accurately in the face of immense pressure. The ability to fuse these two sensor modalities can potentially reduce the cognitive load on human operators and/or improve the effectiveness of computer vision object detection models. However, the fusion task is particularly challenging in the context of WiSAR due to hardware limitations and extreme environmental factors. This work presents Misaligned Image Synthesis and Fusion using Information from Thermal and Visual (MISFIT-V), a novel two-pronged unsupervised deep learning approach that utilizes a Generative Adversarial Network (GAN) and a cross-attention mechanism to capture the most relevant features from each modality. Experimental results show MISFIT-V offers enhanced robustness against misalignment and poor lighting/thermal environmental conditions compared to existing visual-thermal image fusion methods.
• Abstract（参考訳）: 大気中の視覚や熱画像から人間を検出することは、WiSAR(Wiserness Search-and-Rescue)チームにとって根本的な課題である。 これらの2つのセンサーモードを融合する能力は、人間のオペレーターに対する認知的負荷を減少させ、コンピュータビジョンオブジェクト検出モデルの有効性を向上させる可能性がある。 しかし、ハードウェアの限界と極端な環境要因のため、融合タスクはWiSARの文脈では特に困難である。 本研究は,GAN(Generative Adversarial Network)とクロスアテンション機構を用いて,各モードから最も関連性の高い特徴を抽出する,2段階の非教師付き深層学習手法であるMISFIT-V(Information from Thermal and Visual)を用いたミスアライメント画像合成と融合を提案する。 実験結果から,MISFIT-Vは既存の画像融合法と比較して,配向不良や照明・熱環境の悪化に対して強い堅牢性を示すことが示された。

関連論文リスト

• VIFNet: An End-to-end Visible-Infrared Fusion Network for Image Dehazing [13.777195433138179]
  本研究の目的は、画像デハージングのための可視赤外線融合ネットワークを設計することである。 特に,より空間的・限界的な情報を復元するための多スケール深層構造特徴抽出(DSFE)モジュールを提案する。 これを検証するために,AirSimシミュレーションプラットフォームに基づくAirSim-VIDと呼ばれる可視赤外マルチモーダルデータセットを構築した。
  論文  参考訳（メタデータ） (2024-04-11T14:31:11Z)
• Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for Loss-free Multi-Exposure Image Fusion [60.221404321514086]
  マルチ露光画像融合(MEF)は、様々な露光レベルを表すデジタルイメージングの限界に対処するための重要な解決策である。 本稿では、ネットワーク構造と損失関数の両方を自動設計するための二段階最適化探索方式であるHSDS-MEFと呼ばれるMEFのためのハイブリッドスーパービジョンデュアルサーチ手法を提案する。
  論文  参考訳（メタデータ） (2023-09-03T08:07:26Z)
• An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection [59.02821429555375]
  この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。 経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。 マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
  論文  参考訳（メタデータ） (2023-05-17T06:48:35Z)
• Critical heat flux diagnosis using conditional generative adversarial networks [0.0]
  臨界熱流束 (CHF) は、高熱流束熱水和システムで用いられる沸騰熱伝達プロセスにおいて必須の安全境界である。 本研究では,CHFにおけるボイリングシステムの熱データ再構成のためのデータ駆動画像変換手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T07:53:04Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Does Thermal data make the detection systems more reliable? [1.2891210250935146]
  マルチモーダル協調フレームワークに基づく包括的検知システムを提案する。 このフレームワークは、RGB(ビジュアルカメラから)と熱(赤外線カメラから)の両方のデータから学習する。 実験の結果,精度の向上は名目上はいるものの,難易度と難易度は高いことがわかった。
  論文  参考訳（メタデータ） (2021-11-09T15:04:34Z)
• Simultaneous Face Hallucination and Translation for Thermal to Visible Face Verification using Axial-GAN [74.22129648654783]
  低分解能熱画像から熱可視面検証のタスクを紹介します。 本稿では,Axial-Generative Adversarial Network (Axial-GAN)を提案する。
  論文  参考訳（メタデータ） (2021-04-13T22:34:28Z)
• SSTN: Self-Supervised Domain Adaptation Thermal Object Detection for Autonomous Driving [6.810856082577402]
  コントラスト学習により可視スペクトル領域と赤外スペクトル領域の情報を最大化するための機能埋め込みを学習するためのディープニューラルネットワークSelf Supervised Thermal Network (SSTN)を提案する。 提案手法は、FLIR-ADASデータセットとKAISTマルチスペクトラルデータセットの2つの公開データセットで広く評価されている。
  論文  参考訳（メタデータ） (2021-03-04T16:42:49Z)
• Exploring Thermal Images for Object Detection in Underexposure Regions for Autonomous Driving [67.69430435482127]
  アンダーエクスポージャー地域は、安全な自動運転のための周囲の完全な認識を構築するのに不可欠である。 サーマルカメラが利用可能になったことで、他の光学センサーが解釈可能な信号を捉えていない地域を探索するための重要な代替手段となった。 本研究は,可視光画像から熱画像へ学習を伝達するためのスタイル伝達手法を用いたドメイン適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-01T09:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。