論文の概要: PID: Physics-Informed Diffusion Model for Infrared Image Generation
- arxiv url: http://arxiv.org/abs/2407.09299v1
- Date: Fri, 12 Jul 2024 14:32:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-15 23:18:28.515775
- Title: PID: Physics-Informed Diffusion Model for Infrared Image Generation
- Title(参考訳): PID:赤外線画像生成のための物理インフォームド拡散モデル
- Authors: Fangyuan Mao, Jilin Mei, Shun Lu, Fuyang Liu, Liang Chen, Fangzhou Zhao, Yu Hu,
- Abstract要約: 赤外線イメージング技術は、低視認性条件下での信頼性の高いセンシング能力に大きな注目を集めている。
既存の画像翻訳法の多くは、赤外線画像は、基礎となる物理法則を無視して、スタイリスティックなバリエーションとして扱う。
物理法則に従う赤外線画像にRGB画像を変換するための物理情報拡散(PID)モデルを提案する。
- 参考スコア(独自算出の注目度): 11.416759828137701
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Infrared imaging technology has gained significant attention for its reliable sensing ability in low visibility conditions, prompting many studies to convert the abundant RGB images to infrared images. However, most existing image translation methods treat infrared images as a stylistic variation, neglecting the underlying physical laws, which limits their practical application. To address these issues, we propose a Physics-Informed Diffusion (PID) model for translating RGB images to infrared images that adhere to physical laws. Our method leverages the iterative optimization of the diffusion model and incorporates strong physical constraints based on prior knowledge of infrared laws during training. This approach enhances the similarity between translated infrared images and the real infrared domain without increasing extra training parameters. Experimental results demonstrate that PID significantly outperforms existing state-of-the-art methods. Our code is available at https://github.com/fangyuanmao/PID.
- Abstract(参考訳): 赤外線イメージング技術は、低視認性条件下での信頼性の高いセンシング能力に大きな注目を集め、豊富なRGB画像を赤外線画像に変換するために多くの研究が進められている。
しかし、既存のほとんどの画像翻訳法は、赤外線画像をスタイリスティックなバリエーションとして扱い、基礎となる物理法則を無視し、実用的応用を制限している。
これらの問題に対処するために、物理法則に従う赤外線画像にRGB画像を変換するための物理情報拡散(PID)モデルを提案する。
本手法は,拡散モデルの反復的最適化を活用し,トレーニング中の赤外線法則の事前知識に基づいて,強い物理的制約を組み込む。
このアプローチは、余分なトレーニングパラメータを増やすことなく、翻訳された赤外線画像と実際の赤外線領域との類似性を高める。
実験の結果,PIDは既存の最先端手法よりも有意に優れていた。
私たちのコードはhttps://github.com/fangyuanmao/PID.comで公開されています。
関連論文リスト
- CapHDR2IR: Caption-Driven Transfer from Visible Light to Infrared Domain [7.007302908953179]
赤外線(IR)イメージングは、極端光条件下でコンテンツをキャプチャするユニークな能力のため、いくつかの分野で利点がある。
代替として、可視光は赤外線画像の合成に使用できるが、それによって画像の細部への忠実さが失われ、シーンの文脈的認識の欠如により不整合が生じる。
論文 参考訳(メタデータ) (2024-11-25T12:23:14Z) - Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。
SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。
スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
論文 参考訳(メタデータ) (2024-11-19T14:24:03Z) - Effective Diffusion Transformer Architecture for Image Super-Resolution [63.254644431016345]
画像超解像のための効果的な拡散変換器(DiT-SR)を設計する。
実際には、DiT-SRは全体のU字型アーキテクチャを活用し、すべての変圧器ブロックに対して均一な等方性設計を採用する。
我々は、広く使われているAdaLNの制限を分析し、周波数適応型時間-ステップ条件付けモジュールを提案する。
論文 参考訳(メタデータ) (2024-09-29T07:14:16Z) - ThermalNeRF: Thermal Radiance Fields [32.881758519242155]
LWIRとRGB画像の集合からシーン再構築のための統一的なフレームワークを提案する。
我々は、前処理のステップとして、RGBと赤外線カメラを互いに調整する。
提案手法は,RGBや熱チャネルに隠された物体を視覚的に除去すると共に,超高分解能な熱分解能を有することを示す。
論文 参考訳(メタデータ) (2024-07-22T02:51:29Z) - Diff-Mosaic: Augmenting Realistic Representations in Infrared Small Target Detection via Diffusion Prior [63.64088590653005]
本稿では拡散モデルに基づくデータ拡張手法であるDiff-Mosaicを提案する。
我々は,モザイク画像を高度に調整し,リアルな画像を生成するPixel-Priorという拡張ネットワークを導入する。
第2段階では,Diff-Prior という画像強調戦略を提案する。
論文 参考訳(メタデータ) (2024-06-02T06:23:05Z) - Implicit Multi-Spectral Transformer: An Lightweight and Effective Visible to Infrared Image Translation Model [0.6817102408452475]
コンピュータビジョンでは、可視光画像は低照度条件において低コントラストを示すことが多く、重要な課題である。
近年のディープラーニング,特にGAN(Generative Adversarial Networks)の展開は,可視光画像から赤外線画像への変換を促進している。
可視光画像から高忠実度赤外線画像へ効率よく変換するエンド・ツー・エンド・エンド・トランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2024-04-10T15:02:26Z) - Thermal-NeRF: Neural Radiance Fields from an Infrared Camera [29.58060552299745]
本研究では,IR画像のみからNeRFの形でボリュームシーン表現を推定する最初の方法であるTherial-NeRFを紹介する。
本研究では,既存の方法よりも優れた品質が得られることを示すため,広範囲な実験を行った。
論文 参考訳(メタデータ) (2024-03-15T14:27:15Z) - Denoising Diffusion Models for Plug-and-Play Image Restoration [135.6359475784627]
本稿では,従来のプラグアンドプレイ方式を拡散サンプリングフレームワークに統合したDiffPIRを提案する。
DiffPIRは、差別的なガウスのデノイザーに依存するプラグアンドプレイIR法と比較して、拡散モデルの生成能力を継承することが期待されている。
論文 参考訳(メタデータ) (2023-05-15T20:24:38Z) - Breaking Modality Disparity: Harmonized Representation for Infrared and
Visible Image Registration [66.33746403815283]
シーン適応型赤外線と可視画像の登録を提案する。
我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。
我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
論文 参考訳(メタデータ) (2023-04-12T06:49:56Z) - Unsupervised Misaligned Infrared and Visible Image Fusion via
Cross-Modality Image Generation and Registration [59.02821429555375]
我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。
登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
論文 参考訳(メタデータ) (2022-05-24T07:51:57Z) - Thermal Image Super-Resolution Using Second-Order Channel Attention with
Varying Receptive Fields [4.991042925292453]
熱画像の効率よく再構成するシステムを提案する。
熱画像の復元は、安全、捜索、救助、軍事活動を含む用途に不可欠である。
論文 参考訳(メタデータ) (2021-07-30T22:17:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。