論文の概要: Vista-Morph: Unsupervised Image Registration of Visible-Thermal Facial Pairs

• arxiv url: http://arxiv.org/abs/2306.06505v1
• Date: Sat, 10 Jun 2023 18:42:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 18:35:05.458223
• Title: Vista-Morph: Unsupervised Image Registration of Visible-Thermal Facial Pairs
• Title（参考訳）: vista-morph:可視熱対の非教師なし画像登録
• Authors: Catherine Ordun, Edward Raff, Sanjay Purushotham
• Abstract要約: Visible-Thermal (VT) 画像登録のためのアプローチであるVista Morphを紹介した。 ViT(Vision Transformer)ベースのSpatial Transformer Network(STN)とGenerative Adversarial Networks(GAN)を通じてアフィンマトリックスを学習することにより、Vista Morphは顔と非顔のVT画像の整列に成功した。 我々は、V2T画像翻訳を行う際に、Vista Morphでトレーニングデータを登録することで、生成した熱面の主観的同一性を改善することを示すために、下流生成AIタスクを実行する。
• 参考スコア（独自算出の注目度）: 36.33347149799959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For a variety of biometric cross-spectral tasks, Visible-Thermal (VT) facial pairs are used. However, due to a lack of calibration in the lab, photographic capture between two different sensors leads to severely misaligned pairs that can lead to poor results for person re-identification and generative AI. To solve this problem, we introduce our approach for VT image registration called Vista Morph. Unlike existing VT facial registration that requires manual, hand-crafted features for pixel matching and/or a supervised thermal reference, Vista Morph is completely unsupervised without the need for a reference. By learning the affine matrix through a Vision Transformer (ViT)-based Spatial Transformer Network (STN) and Generative Adversarial Networks (GAN), Vista Morph successfully aligns facial and non-facial VT images. Our approach learns warps in Hard, No, and Low-light visual settings and is robust to geometric perturbations and erasure at test time. We conduct a downstream generative AI task to show that registering training data with Vista Morph improves subject identity of generated thermal faces when performing V2T image translation.
• Abstract（参考訳）: 様々な生体計測クロススペクトルタスクでは、可視熱(vt)対が用いられる。 しかし、ラボでのキャリブレーションの欠如により、2つの異なるセンサー間の写真撮影は、人物の再同定と生成的なaiに悪い結果をもたらす深刻なミスアライメントのペアにつながる。 この問題を解決するために,VT画像登録システムであるVista Morphを提案する。 既存のVT顔認証では、手動で手作りでピクセルマッチングや監視されたサーマルリファレンスを必要とするが、Vista Morphは参照を必要とせずに完全に監督されていない。 ViT(Vision Transformer)ベースのSpatial Transformer Network(STN)とGenerative Adversarial Networks(GAN)を通じてアフィンマトリックスを学習することにより、Vista Morphは顔と非顔のVT画像の整列に成功した。 私たちのアプローチは、ハード、ノー、ローライトの視覚設定でワープを学び、テスト時に幾何学的摂動と消去に頑健です。 V2T画像翻訳を行う際に、Vista Morphでトレーニングデータを登録することで、生成した熱面の主観的同一性を改善することを示す。

関連論文リスト

• LADIMO: Face Morph Generation through Biometric Template Inversion with Latent Diffusion [5.602947425285195]
  顔改ざん攻撃は、顔認識システムに深刻なセキュリティ脅威をもたらす。 本稿では,2つの顔認識の埋め込みにおいて,表現レベルの顔形態形成手法であるLADIMOを提案する。 顔形態変種は個々の攻撃成功率を持ち、形態的攻撃ポテンシャルを最大化できることを示す。
  論文  参考訳（メタデータ） (2024-10-10T14:41:37Z)
• CleftGAN: Adapting A Style-Based Generative Adversarial Network To Create Images Depicting Cleft Lip Deformity [2.1647227058902336]
  深層学習に基づく口唇生成装置を構築し, 口唇のファクシミリを高精細度に表現した, ほぼ無限の人工画像を生成する。 我々は、StyleGAN-ADAの異なるバージョンをテストするトランスファー学習プロトコルを実行した。 様々な裂裂の変形を描写した訓練画像は、回転、スケーリング、色調整、背景のぼやけを調整するために前処理された。
  論文  参考訳（メタデータ） (2023-10-12T01:25:21Z)
• A Generative Approach for Image Registration of Visible-Thermal (VT) Cancer Faces [77.77475333490744]
  我々は、生成的アライメントアルゴリズムを適用し、修正することで、画像登録の古典的なコンピュータビジョンタスクを近代化する。 本稿では,V2T画像翻訳における生成AI下流タスクで生成した熱画像の品質が52.5%に向上することが実証された。
  論文  参考訳（メタデータ） (2023-08-23T17:39:58Z)
• MorphGANFormer: Transformer-based Face Morphing and De-Morphing [55.211984079735196]
  顔変形に対するスタイルGANベースのアプローチが主要な技術である。 本稿では,顔の変形に対する変換器ベースの代替手段を提案し,その利点をStyleGANベースの方法と比較した。
  論文  参考訳（メタデータ） (2023-02-18T19:09:11Z)
• Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
  我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。 PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。 PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
  論文  参考訳（メタデータ） (2022-07-22T13:39:06Z)
• Face Reconstruction with Variational Autoencoder and Face Masks [0.0]
  本研究では,顔面再建のためのVAEのトレーニングにマスクが有効かを検討した。 celebAデータセットを用いて提案手法の評価を行った。
  論文  参考訳（メタデータ） (2021-12-03T19:49:52Z)
• Intriguing Properties of Vision Transformers [114.28522466830374]
  視覚変換器(ViT)は、様々なマシンビジョン問題にまたがって印象的な性能を誇示している。 我々は、この問題を広範囲の実験を通して体系的に研究し、高性能畳み込みニューラルネットワーク(CNN)との比較を行った。 ViTsの効果的な特徴は、自己認識機構によって可能なフレキシブルな受容と動的場によるものであることを示す。
  論文  参考訳（メタデータ） (2021-05-21T17:59:18Z)
• MorphGAN: One-Shot Face Synthesis GAN for Detecting Recognition Bias [13.162012586770576]
  本論文では, 頭部ポーズと表情調節を, 既視者の画像に適用するシミュレータについて述べる。 顔の小さなデータセットを新しいポーズと表現で拡張することで、増強やデータの不足に応じて、認識性能を最大9%向上することを示す。
  論文  参考訳（メタデータ） (2020-12-09T18:43:03Z)
• Fine-grained Image-to-Image Transformation towards Visual Recognition [102.51124181873101]
  我々は,入力画像の同一性を保った画像を生成するために,微細なカテゴリで画像を変換することを目的としている。 我々は、画像のアイデンティティと非関連要因をアンハングルするために、生成的敵ネットワークに基づくモデルを採用する。 CompCarsとMulti-PIEデータセットの実験では、我々のモデルが生成した画像のアイデンティティを、最先端の画像-画像変換モデルよりもはるかによく保存していることが示された。
  論文  参考訳（メタデータ） (2020-01-12T05:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。