論文の概要: Data Generation Scheme for Thermal Modality with Edge-Guided Adversarial Conditional Diffusion Model
- arxiv url: http://arxiv.org/abs/2408.03748v1
- Date: Wed, 7 Aug 2024 13:01:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 13:04:22.980047
- Title: Data Generation Scheme for Thermal Modality with Edge-Guided Adversarial Conditional Diffusion Model
- Title(参考訳): エッジ誘導逆条件拡散モデルを用いた熱モダリティのためのデータ生成方式
- Authors: Guoqing Zhu, Honghu Pan, Qiang Wang, Chao Tian, Chao Yang, Zhenyu He,
- Abstract要約: 本稿では,エッジガイド条件拡散モデルと呼ばれる新しい手法を提案する。
可視画像から抽出したエッジ情報を平均化し、画素レベルで正確に整列された擬似熱画像を生成することを目的とする。
LLVIPの実験は、画像生成の品質の観点から、既存の最先端アプローチよりもECDMの方が優れていることを示した。
- 参考スコア(独自算出の注目度): 10.539491614216839
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In challenging low light and adverse weather conditions,thermal vision algorithms,especially object detection,have exhibited remarkable potential,contrasting with the frequent struggles encountered by visible vision algorithms. Nevertheless,the efficacy of thermal vision algorithms driven by deep learning models remains constrained by the paucity of available training data samples. To this end,this paper introduces a novel approach termed the edge guided conditional diffusion model. This framework aims to produce meticulously aligned pseudo thermal images at the pixel level,leveraging edge information extracted from visible images. By utilizing edges as contextual cues from the visible domain,the diffusion model achieves meticulous control over the delineation of objects within the generated images. To alleviate the impacts of those visible-specific edge information that should not appear in the thermal domain,a two-stage modality adversarial training strategy is proposed to filter them out from the generated images by differentiating the visible and thermal modality. Extensive experiments on LLVIP demonstrate ECDM s superiority over existing state-of-the-art approaches in terms of image generation quality.
- Abstract(参考訳): 低照度と悪天候条件に挑戦する中で、熱可視アルゴリズム、特に物体検出アルゴリズムは、可視性視覚アルゴリズムが遭遇する頻繁な闘争とは対照的に、顕著な可能性を示した。
それでも、ディープラーニングモデルによって駆動されるサーマルビジョンアルゴリズムの有効性は、利用可能なトレーニングデータサンプルの不明瞭さによって制限されている。
そこで本研究では,エッジガイド条件拡散モデルと呼ばれる新しい手法を提案する。
本フレームワークは, 可視画像から抽出したエッジ情報を平均化し, 画素レベルで微調整された擬似熱画像を生成することを目的とする。
エッジを可視領域からのコンテキストキューとして利用することにより、拡散モデルは、生成された画像内のオブジェクトのデライン化を綿密に制御する。
熱領域に現れない可視的エッジ情報の影響を軽減するため、可視的および熱的モダリティを区別することにより、生成画像からそれらを除去する2段階の対向訓練戦略が提案されている。
LLVIPに関する大規模な実験は、画像生成の品質の観点から、既存の最先端アプローチよりもECDMの方が優れていることを示した。
関連論文リスト
- Active Generation for Image Classification [50.18107721267218]
本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。
能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
論文 参考訳(メタデータ) (2024-03-11T08:45:31Z) - Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。
具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。
提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
論文 参考訳(メタデータ) (2023-11-28T21:14:02Z) - Latent Space Energy-based Model for Fine-grained Open Set Recognition [46.0388856095674]
微細なオープンセット認識(FineOSR)は、未知のクラスのイメージを拒絶しながら、微妙な外観の違いを持つクラスに属する画像を認識することを目的としている。
生成モデルの一種として、エネルギーベースモデル(EBM)は、生成的タスクと識別的タスクのハイブリッドモデリングのポテンシャルである。
本稿では,OSRの精密な視覚空間におけるエネルギーに基づく事前分布を用いた低次元潜伏空間について検討する。
論文 参考訳(メタデータ) (2023-09-19T16:00:09Z) - Restoring Vision in Adverse Weather Conditions with Patch-Based
Denoising Diffusion Models [8.122270502556374]
本稿では,拡散確率モデルに基づく新しいパッチベースの画像復元アルゴリズムを提案する。
我々は,気象特性とマルチウェザー画像復元の両面において,最先端の性能を実現するためのアプローチを実証する。
論文 参考訳(メタデータ) (2022-07-29T11:52:41Z) - Thermal to Visible Image Synthesis under Atmospheric Turbulence [67.99407460140263]
バイオメトリックスや監視では、低照度と夜間の条件下での撮像に熱画像モダリティがしばしば用いられる。
このような画像システムは、しばしば大気の乱れに悩まされ、撮像された画像に激しいぼやけや変形のアーチファクトをもたらす。
熱画像を直接可視光画像に変換するエンド・ツー・エンドの再構成法を提案する。
論文 参考訳(メタデータ) (2022-04-06T19:47:41Z) - Maximizing Self-supervision from Thermal Image for Effective
Self-supervised Learning of Depth and Ego-motion [78.19156040783061]
熱画像からの深度とエゴモーションの自己教師付き学習は、困難なシナリオ下で強い堅牢性と信頼性を示す。
弱いコントラスト、ぼやけたエッジ、ノイズなどの固有の熱画像特性は、熱画像から効果的な自己スーパービジョンを生成するために障害となる。
本研究では,時間的一貫性を維持しつつ,全体構造,コントラスト,詳細などの画像情報を大幅に向上させる有効熱画像マッピング手法を提案する。
論文 参考訳(メタデータ) (2022-01-12T09:49:24Z) - A Synthesis-Based Approach for Thermal-to-Visible Face Verification [105.63410428506536]
本稿では,ARL-VTFおよびTUFTSマルチスペクトル顔データセット上での最先端性能を実現するアルゴリズムを提案する。
MILAB-VTF(B)も提案する。
論文 参考訳(メタデータ) (2021-08-21T17:59:56Z) - Exploring Thermal Images for Object Detection in Underexposure Regions
for Autonomous Driving [67.69430435482127]
アンダーエクスポージャー地域は、安全な自動運転のための周囲の完全な認識を構築するのに不可欠である。
サーマルカメラが利用可能になったことで、他の光学センサーが解釈可能な信号を捉えていない地域を探索するための重要な代替手段となった。
本研究は,可視光画像から熱画像へ学習を伝達するためのスタイル伝達手法を用いたドメイン適応フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-01T09:59:09Z) - Unsupervised Image-generation Enhanced Adaptation for Object Detection
in Thermal images [4.810743887667828]
本稿では、熱画像における物体検出のための教師なし画像生成拡張適応法を提案する。
可視領域と熱領域のギャップを低減するため,提案手法は擬似熱画像を生成する。
提案手法の有効性と優位性を示す実験を行った。
論文 参考訳(メタデータ) (2020-02-17T04:53:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。