論文の概要: F-ViTA: Foundation Model Guided Visible to Thermal Translation

• arxiv url: http://arxiv.org/abs/2504.02801v1
• Date: Thu, 03 Apr 2025 17:47:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 15:33:58.311108
• Title: F-ViTA: Foundation Model Guided Visible to Thermal Translation
• Title（参考訳）: F-ViTA:熱翻訳に適応した基礎モデル
• Authors: Jay N. Paranjape, Celso de Melo, Vishal M. Patel,
• Abstract要約: そこで我々は,F-ViTAを提案する。F-ViTAは,基礎モデルに埋め込まれた一般世界の知識を利用して,翻訳改善のための拡散過程を導出する手法である。 本モデルでは, オフ・オブ・ディストリビューション(OOD)のシナリオを一般化し, 同じ可視像からLWIR, MWIR, 近赤外(NIR)の変換を生成する。
• 参考スコア（独自算出の注目度）: 27.200043694866388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Thermal imaging is crucial for scene understanding, particularly in low-light and nighttime conditions. However, collecting large thermal datasets is costly and labor-intensive due to the specialized equipment required for infrared image capture. To address this challenge, researchers have explored visible-to-thermal image translation. Most existing methods rely on Generative Adversarial Networks (GANs) or Diffusion Models (DMs), treating the task as a style transfer problem. As a result, these approaches attempt to learn both the modality distribution shift and underlying physical principles from limited training data. In this paper, we propose F-ViTA, a novel approach that leverages the general world knowledge embedded in foundation models to guide the diffusion process for improved translation. Specifically, we condition an InstructPix2Pix Diffusion Model with zero-shot masks and labels from foundation models such as SAM and Grounded DINO. This allows the model to learn meaningful correlations between scene objects and their thermal signatures in infrared imagery. Extensive experiments on five public datasets demonstrate that F-ViTA outperforms state-of-the-art (SOTA) methods. Furthermore, our model generalizes well to out-of-distribution (OOD) scenarios and can generate Long-Wave Infrared (LWIR), Mid-Wave Infrared (MWIR), and Near-Infrared (NIR) translations from the same visible image. Code: https://github.com/JayParanjape/F-ViTA/tree/master.
• Abstract（参考訳）: 熱画像は、特に低照度と夜間の状況において、シーン理解に不可欠である。 しかし、赤外線画像キャプチャに必要な特別な機器のため、大規模な熱データセットの収集は費用がかかり、労力がかかる。 この課題に対処するため、研究者らは可視から熱画像への変換を探索した。 既存の手法の多くはGAN(Generative Adversarial Networks)やDM(Diffusion Models)に依存しており、そのタスクをスタイル転送問題として扱う。 その結果、これらの手法は、限られたトレーニングデータからモダリティ分布シフトと基礎となる物理原理の両方を学習しようと試みた。 本稿では,F-ViTAを提案する。F-ViTAは,基礎モデルに埋め込まれた一般世界の知識を利用して,翻訳改善のための拡散過程を導出する手法である。 具体的には、SAM や Grounded DINO などの基礎モデルからゼロショットマスクとラベルを付した InstructPix2Pix Diffusion Model を設計する。 これにより、モデルがシーンオブジェクトとその熱的シグネチャ間の有意義な相関関係を赤外線画像で学習することが可能になる。 5つの公開データセットに対する大規模な実験は、F-ViTAが最先端(SOTA)メソッドより優れていることを示している。 さらに,本モデルでは,オフ・オブ・ディストリビューション(OOD)のシナリオを一般化し,LWIR(Long-Wave Infrared),MWIR(Mid-Wave Infrared),NIR(Near-IR)の翻訳を同じ可視画像から生成することができる。 コード:https://github.com/JayParanjape/F-ViTA/tree/master

関連論文リスト

• DiffV2IR: Visible-to-Infrared Diffusion Model via Vision-Language Understanding [43.85632218045282]
  DiffV2IRは、プログレッシブラーニングモジュール(PLM)と視覚言語理解モジュール(VLUM)の2つの要素からなる画像翻訳のための新しいフレームワークである。 PLMは、多段階知識学習を活用して、フルレンジからターゲット波長への赤外線遷移を実現する適応拡散モデルアーキテクチャを備えている。 VLUMにはビジョン・ランゲージ理解が組み込まれており、様々な環境条件下で、50万枚の赤外線画像を含む大きな赤外線データセットIR-500Kも収集している。
  論文  参考訳（メタデータ） (2025-03-24T17:58:09Z)
• Multi-Domain Biometric Recognition using Body Embeddings [51.36007967653781]
  身体埋め込みは中波長赤外線(MWIR)領域と長波長赤外線(LWIR)領域の顔埋め込みよりも優れていた。 我々は、IJB-MDFデータセット上でのベンチマーク結果を確立するために、ビジョントランスフォーマーアーキテクチャを活用している。 また, クロスエントロピーとトリプルト損失の単純な組み合わせで, VISデータにのみ事前訓練された体モデルを微調整することで, 最先端のmAPスコアが得られることを示す。
  論文  参考訳（メタデータ） (2025-03-13T22:38:18Z)
• TC-PDM: Temporally Consistent Patch Diffusion Models for Infrared-to-Visible Video Translation [25.542902579879367]
  本稿では,TC-DPM(Temporally Consistent Patch Diffusion Models)と呼ばれる新しい拡散法を提案する。 本手法は生成した可視画像の意味的構造を忠実に保存する。 TC-PDMは、赤外線可視ビデオ翻訳のFVDの35.3%、昼夜物体検出のAP50の6.1%で、最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-26T12:43:48Z)
• PID: Physics-Informed Diffusion Model for Infrared Image Generation [11.416759828137701]
  赤外線イメージング技術は、低視認性条件下での信頼性の高いセンシング能力に大きな注目を集めている。 既存の画像翻訳法の多くは、赤外線画像は、基礎となる物理法則を無視して、スタイリスティックなバリエーションとして扱う。 物理法則に従う赤外線画像にRGB画像を変換するための物理情報拡散(PID)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-12T14:32:30Z)
• IRSAM: Advancing Segment Anything Model for Infrared Small Target Detection [55.554484379021524]
  Infrared Small Target Detection (IRSTD) タスクは、自然画像と赤外線画像の間に顕著な領域ギャップがあるため、満足度の高い性能を達成するには不十分である。 IRSTDのためのIRSAMモデルを提案する。これはSAMのエンコーダデコーダアーキテクチャを改善し、赤外線小物体の特徴表現をより良く学習する。
  論文  参考訳（メタデータ） (2024-07-10T10:17:57Z)
• Diff-Mosaic: Augmenting Realistic Representations in Infrared Small Target Detection via Diffusion Prior [63.64088590653005]
  本稿では拡散モデルに基づくデータ拡張手法であるDiff-Mosaicを提案する。 我々は,モザイク画像を高度に調整し,リアルな画像を生成するPixel-Priorという拡張ネットワークを導入する。 第2段階では,Diff-Prior という画像強調戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:23:05Z)
• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• InfMAE: A Foundation Model in the Infrared Modality [38.23685358198649]
  本稿では,赤外線モダリティの基礎モデルであるInfMAEを提案する。 Inf30と呼ばれる赤外線データセットをリリースし、自己教師付き学習のための大規模データ不足の問題に対処する。 また、赤外線画像に適した情報認識マスキング戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-01T08:02:10Z)
• LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models [54.93010869546011]
  本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。 具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。 遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
  論文  参考訳（メタデータ） (2023-12-02T04:31:51Z)
• Denoising Diffusion Models for Plug-and-Play Image Restoration [135.6359475784627]
  本稿では,従来のプラグアンドプレイ方式を拡散サンプリングフレームワークに統合したDiffPIRを提案する。 DiffPIRは、差別的なガウスのデノイザーに依存するプラグアンドプレイIR法と比較して、拡散モデルの生成能力を継承することが期待されている。
  論文  参考訳（メタデータ） (2023-05-15T20:24:38Z)
• Exploring Thermal Images for Object Detection in Underexposure Regions for Autonomous Driving [67.69430435482127]
  アンダーエクスポージャー地域は、安全な自動運転のための周囲の完全な認識を構築するのに不可欠である。 サーマルカメラが利用可能になったことで、他の光学センサーが解釈可能な信号を捉えていない地域を探索するための重要な代替手段となった。 本研究は,可視光画像から熱画像へ学習を伝達するためのスタイル伝達手法を用いたドメイン適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-01T09:59:09Z)
• Bayesian Fusion for Infrared and Visible Images [26.64101343489016]
  本稿では,赤外・可視画像のための新しいベイズ融合モデルを構築した。 我々は、融合画像が人間の視覚系を満たすようにすることを目指している。 従来の手法と比較して、新しいモデルは、高照度なターゲットとリッチテクスチャの詳細を持つより良い融合画像を生成することができる。
  論文  参考訳（メタデータ） (2020-05-12T14:57:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。