論文の概要: Breaking Modality Disparity: Harmonized Representation for Infrared and Visible Image Registration

• arxiv url: http://arxiv.org/abs/2304.05646v2
• Date: Mon, 27 Nov 2023 08:12:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 16:30:31.995128
• Title: Breaking Modality Disparity: Harmonized Representation for Infrared and Visible Image Registration
• Title（参考訳）: モダリティの格差を打破する:赤外線および可視画像登録のための調和表現
• Authors: Zhiying Jiang, Zengxi Zhang, Jinyuan Liu, Xin Fan, Risheng Liu
• Abstract要約: シーン適応型赤外線と可視画像の登録を提案する。 我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。 我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
• 参考スコア（独自算出の注目度）: 66.33746403815283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since the differences in viewing range, resolution and relative position, the multi-modality sensing module composed of infrared and visible cameras needs to be registered so as to have more accurate scene perception. In practice, manual calibration-based registration is the most widely used process, and it is regularly calibrated to maintain accuracy, which is time-consuming and labor-intensive. To cope with these problems, we propose a scene-adaptive infrared and visible image registration. Specifically, in regard of the discrepancy between multi-modality images, an invertible translation process is developed to establish a modality-invariant domain, which comprehensively embraces the feature intensity and distribution of both infrared and visible modalities. We employ homography to simulate the deformation between different planes and develop a hierarchical framework to rectify the deformation inferred from the proposed latent representation in a coarse-to-fine manner. For that, the advanced perception ability coupled with the residual estimation conducive to the regression of sparse offsets, and the alternate correlation search facilitates a more accurate correspondence matching. Moreover, we propose the first ground truth available misaligned infrared and visible image dataset, involving three synthetic sets and one real-world set. Extensive experiments validate the effectiveness of the proposed method against the state-of-the-arts, advancing the subsequent applications.
• Abstract（参考訳）: 視野、解像度、相対位置の違いから、赤外線カメラと可視カメラからなるマルチモダリティセンシングモジュールは、より正確なシーン知覚を有するように登録する必要がある。 実際には、手動の校正に基づく登録は最も広く使われているプロセスであり、正確性を維持するために定期的に校正される。 これらの問題に対処するために、シーン適応型赤外線および可視画像登録を提案する。 具体的には、多モード画像間の不一致に関して、可逆変換法を開発し、赤外線と可視モダリティの両方の特徴強度と分布を包括的に受け入れるモダリティ不変領域を確立する。 我々は,異なる平面間の変形をシミュレートし,提案した潜在表現から推定される変形を粗い方法で補正する階層的枠組みを開発する。 このために、スパースオフセットの回帰に伴う残差推定に結合した高度な知覚能力と交互相関探索により、より正確な対応マッチングが容易になる。 さらに,3つの合成セットと1つの実世界セットを含む,赤外・可視画像データセットの誤りを解消する基礎的真理を提案する。 広範囲な実験により,提案手法の有効性が検証され,その後の応用が進展する。

関連論文リスト

• Improving Misaligned Multi-modality Image Fusion with One-stage Progressive Dense Registration [67.23451452670282]
  多モード画像間の相違は、画像融合の課題を引き起こす。 マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。 このスキームは、一段階最適化のみで粗大な登録を行う。
  論文  参考訳（メタデータ） (2023-08-22T03:46:24Z)
• View Consistent Purification for Accurate Cross-View Localization [59.48131378244399]
  本稿では,屋外ロボットのための微細な自己局在化手法を提案する。 提案手法は,既存のクロスビューローカライゼーション手法の限界に対処する。 これは、動的環境における知覚を増強する初めての疎視のみの手法である。
  論文  参考訳（メタデータ） (2023-08-16T02:51:52Z)
• Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration [59.02821429555375]
  我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。 登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
  論文  参考訳（メタデータ） (2022-05-24T07:51:57Z)
• ReDFeat: Recoupling Detection and Description for Multimodal Feature Learning [51.07496081296863]
  我々は、相互重み付け戦略による多モーダル特徴学習の検出と記述の独立した制約を再定義する。 本研究では,大きな受容場を有し,学習可能な非最大抑制層を備える検出器を提案する。 我々は,特徴マッチングと画像登録タスクにおける特徴量を評価するために,クロス可視,赤外線,近赤外,合成開口レーダ画像ペアを含むベンチマークを構築した。
  論文  参考訳（メタデータ） (2022-05-16T04:24:22Z)
• Towards Homogeneous Modality Learning and Multi-Granularity Information Exploration for Visible-Infrared Person Re-Identification [16.22986967958162]
  Visible-infrared person re-identification (VI-ReID) は、可視・赤外線カメラビューを介して人物画像の集合を検索することを目的とした、困難かつ必須の課題である。 従来の手法では, GAN (Generative Adversarial Network) を用いて, モーダリティ・コンシデント・データを生成する手法が提案されている。 そこで本研究では、視線外デュアルモード学習をグレーグレー単一モード学習問題として再構成する、統一されたダークラインスペクトルであるAligned Grayscale Modality (AGM)を用いて、モード間マッチング問題に対処する。
  論文  参考訳（メタデータ） (2022-04-11T03:03:19Z)
• Modality-Adaptive Mixup and Invariant Decomposition for RGB-Infrared Person Re-Identification [84.32086702849338]
  RGB-赤外線人物再同定のための新しいモダリティ適応混合・不変分解(MID)手法を提案する。 MIDは、RGBと赤外線画像の混合画像を生成するためのモダリティ適応混合方式を設計する。 2つの挑戦的なベンチマーク実験は、最先端の手法よりもMIDの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-03T14:26:49Z)
• DiffuseMorph: Unsupervised Deformable Image Registration Along Continuous Trajectory Using Diffusion Models [31.826844124173984]
  DiffuseMorphと呼ばれる拡散モデルに基づく新しい確率的画像登録手法を提案する。 本モデルは,動画像と固定画像の変形のスコア関数を学習する。 本手法は, トポロジー保存機能により, 柔軟かつ高精度な変形を可能とする。
  論文  参考訳（メタデータ） (2021-12-09T08:41:23Z)
• Unsupervised Multimodal Image Registration with Adaptative Gradient Guidance [23.461130560414805]
  教師なし学習に基づく手法は、変形可能な画像登録における精度と効率よりも有望な性能を示す。 既存の手法の予測変形場は、登録済み画像対に完全に依存する。 両モデルから推定される変形場を利用する新しい多モード登録フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-12T05:47:20Z)
• CoMIR: Contrastive Multimodal Image Representation for Registration [4.543268895439618]
  我々は,CoMIR(Contrastive Multimodal Image Representations)と呼ばれる,共有された高密度画像表現を学習するためのコントラスト符号化を提案する。 CoMIRは、十分に類似した画像構造が欠如しているため、既存の登録方法がしばしば失敗するマルチモーダル画像の登録を可能にする。
  論文  参考訳（メタデータ） (2020-06-11T10:51:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。