論文の概要: XoFTR: Cross-modal Feature Matching Transformer
- arxiv url: http://arxiv.org/abs/2404.09692v1
- Date: Mon, 15 Apr 2024 11:46:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 12:40:28.451179
- Title: XoFTR: Cross-modal Feature Matching Transformer
- Title(参考訳): XoFTR: クロスモーダルな特徴マッチングトランス
- Authors: Önder Tuzcuoğlu, Aybora Köksal, Buğra Sofu, Sinan Kalkan, A. Aydın Alatan,
- Abstract要約: 熱赤外(TIR)と可視画像の局所的特徴マッチングのためのクロスモーダル・クロスビュー法
XTRoFにはマスク付き画像モデリングと擬似熱画像拡張による微調整が組み込まれている。
提案手法の有効性を検証するため,包括的可視熱的データセットを収集し,提案手法が多くのベンチマークにおいて既存手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 7.686047196317477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce, XoFTR, a cross-modal cross-view method for local feature matching between thermal infrared (TIR) and visible images. Unlike visible images, TIR images are less susceptible to adverse lighting and weather conditions but present difficulties in matching due to significant texture and intensity differences. Current hand-crafted and learning-based methods for visible-TIR matching fall short in handling viewpoint, scale, and texture diversities. To address this, XoFTR incorporates masked image modeling pre-training and fine-tuning with pseudo-thermal image augmentation to handle the modality differences. Additionally, we introduce a refined matching pipeline that adjusts for scale discrepancies and enhances match reliability through sub-pixel level refinement. To validate our approach, we collect a comprehensive visible-thermal dataset, and show that our method outperforms existing methods on many benchmarks.
- Abstract(参考訳): 熱赤外(TIR)と可視画像の局所的特徴マッチングのためのクロスモーダル・クロスビュー手法であるXoFTRを紹介する。
可視画像と異なり、TIR画像は悪照明や気象条件の影響を受けにくいが、テクスチャや強度の違いによりマッチングが困難である。
目に見えるTIRマッチングのための手作りおよび学習に基づく現在の手法は、視点、スケール、テクスチャの多様性を扱うのに不足している。
この問題を解決するために、XoFTRはマスク付き画像モデリングと擬似熱画像拡張による微調整を取り入れ、モダリティの違いに対処する。
さらに,解像度の差を補正し,サブピクセルレベルの精細化によりマッチング信頼性を向上させる改良されたマッチングパイプラインを導入する。
提案手法の有効性を検証するため,包括的可視熱的データセットを収集し,提案手法が多くのベンチマークにおいて既存手法よりも優れていることを示す。
関連論文リスト
- ARCNet: An Asymmetric Residual Wavelet Column Correction Network for
Infrared Image Destriping [28.037564161552446]
赤外画像デストリップは、劣化した画像から高品質なコンテンツを復元しようとする。
最近の研究は、先行知識を利用して劣化した画像からストライプノイズを分離することで、この課題に対処している。
画像デストリップのための非対称残留ウェーブレット列補正ネットワーク(ARCNet)を導入する。
論文 参考訳(メタデータ) (2024-01-28T06:23:55Z) - Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for
Loss-free Multi-Exposure Image Fusion [60.221404321514086]
マルチ露光画像融合(MEF)は、様々な露光レベルを表すデジタルイメージングの限界に対処するための重要な解決策である。
本稿では、ネットワーク構造と損失関数の両方を自動設計するための二段階最適化探索方式であるHSDS-MEFと呼ばれるMEFのためのハイブリッドスーパービジョンデュアルサーチ手法を提案する。
論文 参考訳(メタデータ) (2023-09-03T08:07:26Z) - Embracing Compact and Robust Architectures for Multi-Exposure Image
Fusion [50.598654017728045]
本稿では,堅牢なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを含む探索型パラダイムを提案する。
シーンリライティングと変形可能な畳み込みを利用して、カメラの動きに拘わらず、画像を正確に調整することができる。
我々は、様々な競争方式と比較して最先端の性能を実現し、一般的なシナリオと不整合シナリオに対するPSNRの4.02%と29.34%の改善を実現した。
論文 参考訳(メタデータ) (2023-05-20T17:01:52Z) - Breaking Modality Disparity: Harmonized Representation for Infrared and
Visible Image Registration [66.33746403815283]
シーン適応型赤外線と可視画像の登録を提案する。
我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。
我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
論文 参考訳(メタデータ) (2023-04-12T06:49:56Z) - Exploring Invariant Representation for Visible-Infrared Person
Re-Identification [77.06940947765406]
異なるスペクトルを横断する歩行者にアイデンティティを関連付けることを目的とした、クロススペクトルの人物再識別は、モダリティの相違の主な課題に直面している。
本稿では、ロバスト機能マイニングネットワーク(RFM)と呼ばれるエンドツーエンドのハイブリッド学習フレームワークにおいて、画像レベルと特徴レベルの両方の問題に対処する。
RegDBとSYSU-MM01という2つの標準的なクロススペクトル人物識別データセットの実験結果により,最先端の性能が示された。
論文 参考訳(メタデータ) (2023-02-02T05:24:50Z) - Unsupervised Misaligned Infrared and Visible Image Fusion via
Cross-Modality Image Generation and Registration [59.02821429555375]
我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。
登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
論文 参考訳(メタデータ) (2022-05-24T07:51:57Z) - Towards Homogeneous Modality Learning and Multi-Granularity Information
Exploration for Visible-Infrared Person Re-Identification [16.22986967958162]
Visible-infrared person re-identification (VI-ReID) は、可視・赤外線カメラビューを介して人物画像の集合を検索することを目的とした、困難かつ必須の課題である。
従来の手法では, GAN (Generative Adversarial Network) を用いて, モーダリティ・コンシデント・データを生成する手法が提案されている。
そこで本研究では、視線外デュアルモード学習をグレーグレー単一モード学習問題として再構成する、統一されたダークラインスペクトルであるAligned Grayscale Modality (AGM)を用いて、モード間マッチング問題に対処する。
論文 参考訳(メタデータ) (2022-04-11T03:03:19Z) - Simultaneous Face Hallucination and Translation for Thermal to Visible
Face Verification using Axial-GAN [74.22129648654783]
低分解能熱画像から熱可視面検証のタスクを紹介します。
本稿では,Axial-Generative Adversarial Network (Axial-GAN)を提案する。
論文 参考訳(メタデータ) (2021-04-13T22:34:28Z) - Bayesian Fusion for Infrared and Visible Images [26.64101343489016]
本稿では,赤外・可視画像のための新しいベイズ融合モデルを構築した。
我々は、融合画像が人間の視覚系を満たすようにすることを目指している。
従来の手法と比較して、新しいモデルは、高照度なターゲットとリッチテクスチャの詳細を持つより良い融合画像を生成することができる。
論文 参考訳(メタデータ) (2020-05-12T14:57:19Z) - Pyramidal Edge-maps and Attention based Guided Thermal Super-resolution [28.798966778371145]
可視領域画像を用いた熱画像の誘導超解像(GSR)は、画像間のスペクトル範囲の違いにより困難である。
可視画像から抽出したピラミッド状エッジマップに基づくGSRの新しいアルゴリズムを提案する。
我々のモデルは、定量的にも定性的にも、最先端のGSR法よりも優れています。
論文 参考訳(メタデータ) (2020-03-13T12:11:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。