論文の概要: T-FAKE: Synthesizing Thermal Images for Facial Landmarking

• arxiv url: http://arxiv.org/abs/2408.15127v1
• Date: Tue, 27 Aug 2024 15:07:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 13:23:24.313914
• Title: T-FAKE: Synthesizing Thermal Images for Facial Landmarking
• Title（参考訳）: T-FAKE: 顔のランドマークのための熱画像の合成
• Authors: Philipp Flotho, Moritz Piening, Anna Kukleva, Gabriele Steidl,
• Abstract要約: スパースと密集したランドマークを持つ新しい大規模合成熱データセットであるT-FAKEデータセットを紹介する。 我々のモデルは、スパース70点のランドマークと密度478点のランドマークアノテーションの両方で優れた性能を示している。
• 参考スコア（独自算出の注目度）: 8.20594611891252
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Facial analysis is a key component in a wide range of applications such as security, autonomous driving, entertainment, and healthcare. Despite the availability of various facial RGB datasets, the thermal modality, which plays a crucial role in life sciences, medicine, and biometrics, has been largely overlooked. To address this gap, we introduce the T-FAKE dataset, a new large-scale synthetic thermal dataset with sparse and dense landmarks. To facilitate the creation of the dataset, we propose a novel RGB2Thermal loss function, which enables the transfer of thermal style to RGB faces. By utilizing the Wasserstein distance between thermal and RGB patches and the statistical analysis of clinical temperature distributions on faces, we ensure that the generated thermal images closely resemble real samples. Using RGB2Thermal style transfer based on our RGB2Thermal loss function, we create the T-FAKE dataset, a large-scale synthetic thermal dataset of faces. Leveraging our novel T-FAKE dataset, probabilistic landmark prediction, and label adaptation networks, we demonstrate significant improvements in landmark detection methods on thermal images across different landmark conventions. Our models show excellent performance with both sparse 70-point landmarks and dense 478-point landmark annotations. Our code and models are available at https://github.com/phflot/tfake.
• Abstract（参考訳）: 顔分析は、セキュリティ、自律運転、エンターテイメント、ヘルスケアなど、幅広いアプリケーションにおいて重要なコンポーネントである。 様々な顔のRGBデータセットが利用可能であるにもかかわらず、生命科学、医学、バイオメトリックスにおいて重要な役割を果たす熱モダリティはほとんど見過ごされてきた。 このギャップに対処するために、スパースと密集したランドマークを備えた新しい大規模合成熱データセットであるT-FAKEデータセットを導入する。 データセットの作成を容易にするため,RGB面へのサーマルスタイルの移動を可能にする新しいRGB2熱損失関数を提案する。 サーマルパッチとRGBパッチ間のワッサースタイン距離と臨床温度分布の統計解析を利用して、生成したサーマルイメージが実際の試料とよく似ていることを確かめる。 RGB2熱損失関数に基づくRGB2熱伝達を用いて、顔の大規模合成熱データセットであるT-FAKEデータセットを作成する。 新たなT-FAKEデータセット、確率的ランドマーク予測、ラベル適応ネットワークを活用して、異なるランドマーク規則における熱画像のランドマーク検出方法の大幅な改善を示す。 我々のモデルは、スパース70点のランドマークと密度478点のランドマークアノテーションの両方で優れた性能を示している。 私たちのコードとモデルはhttps://github.com/phflot/tfake.comで公開されています。

関連論文リスト

• CattleFace-RGBT: RGB-T Cattle Facial Landmark Benchmark [4.463254896517738]
  CattleFace-RGBTは、合計4,600枚からなる2,300枚のRGB-T画像からなるRGB-T Cattle Facial Landmarkデータセットである。 AIを熱画像に適用することは、直接熱訓練と実現不可能なRGB熱的アライメントによる最適以下の結果によって困難である。 我々は、RGBで訓練されたモデルを熱画像に転送し、AIアシストアノテーションツールを使用してそれらを洗練する。
  論文  参考訳（メタデータ） (2024-06-05T16:29:13Z)
• ThermoNeRF: Multimodal Neural Radiance Fields for Thermal Novel View Synthesis [5.66229031510643]
  本研究では,新しいRGBとサーマルビューを共同でレンダリングする手法であるThermoNeRFを提案する。 熱画像のテクスチャの欠如を克服するために,RGBと熱画像を組み合わせてシーン密度を学習する。 また、シーン再構築に利用可能なRGB+熱的データセットの欠如を緩和する新しいデータセットであるThermoScenesも導入した。
  論文  参考訳（メタデータ） (2024-03-18T18:10:34Z)
• Caltech Aerial RGB-Thermal Dataset in the Wild [14.699908177967181]
  本稿では,自然環境下での航空ロボットのためのRGB熱水モデルについて紹介する。 私たちのデータセットは、川、湖、海岸線、砂漠、森林など、米国中のさまざまな地形を捉えています。 自然設定でよく見られる10のクラスに対してセマンティックセグメンテーションアノテーションを提供する。
  論文  参考訳（メタデータ） (2024-03-13T23:31:04Z)
• Visible to Thermal image Translation for improving visual task in low light conditions [0.0]
  Parrot Anafi Thermalのドローンを使って、2つの場所から画像を収集した。 我々は2ストリームネットワークを作成し、前処理、拡張、画像データを作成し、ジェネレータと識別器モデルをゼロから訓練した。 その結果, RGB トレーニングデータを GAN を用いて熱データに変換することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-31T05:18:53Z)
• Precise Facial Landmark Detection by Reference Heatmap Transformer [52.417964103227696]
  より正確に顔のランドマークを検出するための参照ヒートマップ変換器(RHT)を提案する。 評価実験の結果,提案手法は文献における最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-14T12:26:48Z)
• Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
  本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。 本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。 一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
  論文  参考訳（メタデータ） (2022-10-09T13:50:12Z)
• Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection [16.64781797503128]
  RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。 本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。 ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-07T20:26:09Z)
• A Synthesis-Based Approach for Thermal-to-Visible Face Verification [105.63410428506536]
  本稿では,ARL-VTFおよびTUFTSマルチスペクトル顔データセット上での最先端性能を実現するアルゴリズムを提案する。 MILAB-VTF(B)も提案する。
  論文  参考訳（メタデータ） (2021-08-21T17:59:56Z)
• A Large-Scale, Time-Synchronized Visible and Thermal Face Dataset [62.193924313292875]
  DEVCOM Army Research Laboratory Visible-Thermal Faceデータセット(ARL-VTF)を発表します。 395人の被験者から50万枚以上の画像が得られたARL-VTFデータセットは、これまでで最大の可視画像とサーマルフェイス画像の収集データだ。 本論文では,ALL-VTFデータセットを用いたサーマルフェースランドマーク検出とサーマル・トゥ・ヴィジブルフェース検証のベンチマーク結果と分析について述べる。
  論文  参考訳（メタデータ） (2021-01-07T17:17:12Z)
• Multi-Scale Thermal to Visible Face Verification via Attribute Guided Synthesis [55.29770222566124]
  可視画像から抽出した属性を用いて、熱画像から属性保存された可視画像を合成し、クロスモーダルマッチングを行う。 抽出した属性によって導かれる熱画像から可視像を合成するために, 新規なマルチスケールジェネレータを提案する。 事前訓練されたVGG-Faceネットワークを利用して、合成画像と入力可視画像から特徴を抽出し、検証を行う。
  論文  参考訳（メタデータ） (2020-04-20T01:45:05Z)
• A Transfer Learning approach to Heatmap Regression for Action Unit intensity estimation [50.261472059743845]
  アクション・ユニット(英: Action Units、AUs)は、幾何学に基づく原子性顔面筋運動である。 本稿では,その位置と強度を共同で推定する新しいAUモデリング問題を提案する。 ヒートマップは、所定の空間的位置でAUが発生するか否かをモデル化する。
  論文  参考訳（メタデータ） (2020-04-14T16:51:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。