論文の概要: T2V-DDPM: Thermal to Visible Face Translation using Denoising Diffusion
Probabilistic Models
- arxiv url: http://arxiv.org/abs/2209.08814v1
- Date: Mon, 19 Sep 2022 07:59:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 18:28:37.755024
- Title: T2V-DDPM: Thermal to Visible Face Translation using Denoising Diffusion
Probabilistic Models
- Title(参考訳): T2V-DDPM:拡散確率モデルを用いた熱-可視顔翻訳
- Authors: Nithin Gopalakrishnan Nair and Vishal M. Patel
- Abstract要約: 本稿では,熱可視(T2V)画像翻訳のための解法として,DDPM(Denoising Diffusion Probabilistic Model)を提案する。
トレーニング中、モデルは、対応する熱画像から可視像の条件分布を学習する。
複数のデータセットで最先端の結果が得られます。
- 参考スコア(独自算出の注目度): 71.94264837503135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern-day surveillance systems perform person recognition using deep
learning-based face verification networks. Most state-of-the-art facial
verification systems are trained using visible spectrum images. But, acquiring
images in the visible spectrum is impractical in scenarios of low-light and
nighttime conditions, and often images are captured in an alternate domain such
as the thermal infrared domain. Facial verification in thermal images is often
performed after retrieving the corresponding visible domain images. This is a
well-established problem often known as the Thermal-to-Visible (T2V) image
translation. In this paper, we propose a Denoising Diffusion Probabilistic
Model (DDPM) based solution for T2V translation specifically for facial images.
During training, the model learns the conditional distribution of visible
facial images given their corresponding thermal image through the diffusion
process. During inference, the visible domain image is obtained by starting
from Gaussian noise and performing denoising repeatedly. The existing inference
process for DDPMs is stochastic and time-consuming. Hence, we propose a novel
inference strategy for speeding up the inference time of DDPMs, specifically
for the problem of T2V image translation. We achieve the state-of-the-art
results on multiple datasets. The code and pretrained models are publically
available at http://github.com/Nithin-GK/T2V-DDPM
- Abstract(参考訳): 現代の監視システムは、深層学習に基づく顔認証ネットワークを用いて人物認識を行う。
ほとんどの最先端の顔認証システムは可視スペクトル画像を用いて訓練されている。
しかし、低照度および夜間条件のシナリオでは、可視スペクトルの画像を取得することは不可能であり、しばしば熱赤外領域のような別の領域で撮像される。
熱画像における顔認証は、対応する可視領域画像の検索後に行われることが多い。
これは熱可視(T2V)画像変換として知られるよく確立された問題である。
本稿では,顔画像に特有なT2V翻訳のための解法として,DDPM(Denoising Diffusion Probabilistic Model)を提案する。
トレーニング中、モデルは拡散過程を通じて、対応する熱画像から可視的顔画像の条件分布を学習する。
推測中は、ガウスノイズから始まり、繰り返しデノナイジングを行うことにより、可視領域画像を得る。
既存のDDPMの推論プロセスは確率的かつ時間を要する。
そこで本研究では,T2V画像翻訳の問題に対して,DDPMの推論時間を高速化する新たな推論手法を提案する。
複数のデータセットで最先端の結果を得る。
コードと事前訓練されたモデルはhttp://github.com/Nithin-GK/T2V-DDPMで公開されている。
関連論文リスト
- Visible to Thermal image Translation for improving visual task in low
light conditions [0.0]
Parrot Anafi Thermalのドローンを使って、2つの場所から画像を収集した。
我々は2ストリームネットワークを作成し、前処理、拡張、画像データを作成し、ジェネレータと識別器モデルをゼロから訓練した。
その結果, RGB トレーニングデータを GAN を用いて熱データに変換することが可能であることが示唆された。
論文 参考訳(メタデータ) (2023-10-31T05:18:53Z) - Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。
我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。
我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
論文 参考訳(メタデータ) (2023-09-18T09:36:24Z) - Dual-path TokenLearner for Remote Photoplethysmography-based
Physiological Measurement with Facial Videos [24.785755814666086]
本稿では,学習可能なトークンの概念を利用して,ビデオのグローバルな視点から空間的・時間的情報的コンテキストを統合する。
TTL(Temporal TokenLearner)は、頭部運動などの時間的乱れを排除し、心拍の準周期パターンを推定するように設計されている。
論文 参考訳(メタデータ) (2023-08-15T13:45:45Z) - Learning Structure-Guided Diffusion Model for 2D Human Pose Estimation [71.24808323646167]
ニューラルネットワークを用いてキーポイントのヒートマップを学習するための新しいスキームである textbfDiffusionPose を提案する。
トレーニング中、キーポイントはノイズを加えることでランダム分布に拡散され、拡散モデルはノイズ付きヒートマップから地中構造熱マップを復元する。
実験では、広く使用されているCOCO、CrowdPose、AI Challengeデータセット上で1.6、1.2、1.2mAPの改善による、私たちのスキームの長所が示されている。
論文 参考訳(メタデータ) (2023-06-29T16:24:32Z) - Diffusion Model for Generative Image Denoising [17.897180118637856]
画像復調のための教師あり学習では、通常、ペアのクリーンな画像とノイズの多い画像を収集し合成し、復調モデルを訓練する。
本稿では,ノイズ画像に条件付けされたクリーン画像の後部分布を推定する問題として,デノナイジングタスクを考察する。
論文 参考訳(メタデータ) (2023-02-05T14:53:07Z) - ADIR: Adaptive Diffusion for Image Reconstruction [46.838084286784195]
本研究では,拡散モデルによる事前学習を利用した条件付きサンプリング手法を提案する。
次に、事前学習した拡散分極ネットワークを入力に適応させる新しいアプローチと組み合わせる。
画像再構成手法の適応拡散は,超高解像度,デブロアリング,テキストベースの編集タスクにおいて,大幅な改善が達成されていることを示す。
論文 参考訳(メタデータ) (2022-12-06T18:39:58Z) - Thermal to Visible Image Synthesis under Atmospheric Turbulence [67.99407460140263]
バイオメトリックスや監視では、低照度と夜間の条件下での撮像に熱画像モダリティがしばしば用いられる。
このような画像システムは、しばしば大気の乱れに悩まされ、撮像された画像に激しいぼやけや変形のアーチファクトをもたらす。
熱画像を直接可視光画像に変換するエンド・ツー・エンドの再構成法を提案する。
論文 参考訳(メタデータ) (2022-04-06T19:47:41Z) - A Synthesis-Based Approach for Thermal-to-Visible Face Verification [105.63410428506536]
本稿では,ARL-VTFおよびTUFTSマルチスペクトル顔データセット上での最先端性能を実現するアルゴリズムを提案する。
MILAB-VTF(B)も提案する。
論文 参考訳(メタデータ) (2021-08-21T17:59:56Z) - UNIT-DDPM: UNpaired Image Translation with Denoising Diffusion
Probabilistic Models [19.499490172426427]
そこで本研究では, 拡散確率モデルを用いた非対比画像・画像変換手法を提案する。
拡散確率モデル(UNIT-DDPM)を用いたUnpaired Image Translation with Denoising Diffusion Probabilistic Models (UNT-DDPM) は,両領域の画像の共同分布をマルコフ鎖として推定する生成モデルを訓練する。
論文 参考訳(メタデータ) (2021-04-12T11:22:56Z) - Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images [98.82804259905478]
Neighbor2Neighborを提示し、ノイズの多い画像のみで効果的な画像消音モデルをトレーニングします。
ネットワークのトレーニングに使用される入力とターゲットは、同じノイズ画像からサブサンプリングされた画像である。
デノイジングネットワークは、第1段階で生成されたサブサンプルトレーニングペアで訓練され、提案された正規化器は、より良いパフォーマンスのための追加の損失として訓練される。
論文 参考訳(メタデータ) (2021-01-08T02:03:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。