論文の概要: MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation

• arxiv url: http://arxiv.org/abs/2607.19886v1
• Date: Wed, 22 Jul 2026 08:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.026731
• Title: MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation
• Title（参考訳）: MTVDiff:マルチモーダル条件付き潜伏拡散による熱可視顔翻訳の高速化
• Abstract要約: サーマル・トゥ・ヴィジュアブル・フェイス・トランスレーションは、幾何学的不連続性、セマンティック・ミスマッチ、アイデンティティーの劣化など、基本的な課題を提示する。 本稿では,MTVDiffを提案する。MTVDiffは,深度とテキスト情報を統合して,識別特性を保ちながらこれらの制限に対処する,新しい多モード潜在拡散フレームワークである。 我々の研究は、様々な照明条件下で動作している顔認識システムに対して堅牢なソリューションを提供し、効果的なマルチモーダル統合により、クロススペクトル顔画像翻訳における最先端の進歩をもたらす。
• 参考スコア（独自算出の注目度）: 26.41024314469797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Thermal-to-visible face translation presents fundamental challenges including geometric discontinuities, semantic attribute mismatches, and identity degradation. We propose MTVDiff, a novel multimodal latent diffusion framework that synergistically integrates depth and textual information to address these limitations while preserving identity characteristics. The MTVDiff framework presents three core technical contributions: (1) a Dual-Branch Cross-Attention Fusion (DBCAF) module for multi-scale thermal-depth feature extraction and fusion; (2) a Gated Text-to-Visual Feature Alignment mechanism for semantically-guided generation; and (3) Spatial Feature Transformations (SFT) for adaptive multimodal prior integration. Extensive experiments on the MCXFace and SpeakingFaces datasets demonstrate that our multimodal approach significantly outperforms existing GAN-based and diffusion-based approaches across multiple metrics, achieving substantial improvements in both image quality and face verification performance, with FID reductions of up to 48.3% and Rank-1 accuracy improvements of up to 8.9\%. Our work provides a robust solution for face recognition systems operating under varying illumination conditions and advances the state-of-the-art in cross-spectral facial image translation through effective multimodal integration.
• Abstract（参考訳）: 熱可視顔翻訳は、幾何学的不連続性、意味的属性のミスマッチ、アイデンティティの劣化など、基本的な課題を提示する。 MTVDiffは,識別特性を保ちながら,これらの制限に対処するための奥行き情報とテキスト情報を相乗的に統合する,新しいマルチモーダル潜在拡散フレームワークである。 MTVDiffフレームワークは,(1)マルチスケール熱深度特徴抽出と融合のためのDBCAFモジュール,(2)セマンティック誘導生成のためのGated Text-to-Visual Feature Asignmentメカニズム,(3)適応型マルチモーダル事前統合のための空間特徴変換(SFT)の3つの技術コントリビューションを提供する。 MCXFaceとSpeechFacesデータセットの大規模な実験により、我々のマルチモーダルアプローチは、既存のGANベースのアプローチと拡散ベースのアプローチを複数のメトリクスで大幅に上回り、画像品質と顔認証性能の両方で大幅に改善され、FIDの最大48.3%、Ran-1の精度は最大8.9\%向上した。 我々の研究は、様々な照明条件下で動作している顔認識システムに対して堅牢なソリューションを提供し、効果的なマルチモーダル統合により、クロススペクトル顔画像翻訳における最先端の進歩をもたらす。

関連論文リスト

• Prior-guided Fusion of Multimodal Features for Change Detection from Optical-SAR Images [25.450869122142787]
  Multimodal Change Detection (MMCD)は、マルチモーダルリモートセンシング(RS)データの変化領域を特定する。 MMCDアプローチは、クロスモーダル相互作用の限界を示し、モダリティ固有の特性を利用する。 光学的セマンティック画像とSAR画像間のMMCDのためのフレームワークSTSF-Netを提案する。
  論文  参考訳（メタデータ） (2026-04-07T07:28:17Z)
• Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
  マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。 従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。 我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
  論文  参考訳（メタデータ） (2026-03-07T03:58:48Z)
• DIFF-MF: A Difference-Driven Channel-Spatial State Space Model for Multi-Modal Image Fusion [51.07069814578009]
  マルチモーダル画像融合は、複数のソース画像から補完的な情報を統合して、リッチなコンテンツで高品質な融合画像を生成することを目的としている。 マルチモーダル画像融合のための差動駆動型チャネル空間空間モデルDIFF-MFを提案する。 本手法は,視覚的品質と定量的評価の両方において,既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2026-01-09T05:26:54Z)
• MMMamba: A Versatile Cross-Modal In Context Fusion Framework for Pan-Sharpening and Zero-Shot Image Enhancement [29.94979992704961]
  パンシャーピングは高分解能マルチスペクトル(HRMS)画像の生成を目的として,高分解能パンクロマティック(PAN)画像とそれに対応する低分解能マルチスペクトル(MS)画像を統合する。 従来のCNNベースの手法は、チャネルワイズと固定畳み込み演算子との結合に依存している。 パンシャーピングのためのクロスモーダルなインコンテキスト融合フレームワークであるMMMambaを提案する。
  論文  参考訳（メタデータ） (2025-12-17T10:07:09Z)
• Multivariate Diffusion Transformer with Decoupled Attention for High-Fidelity Mask-Text Collaborative Facial Generation [33.45651294176388]
  MDiTFaceは、セマンティックマスクとテキスト入力を処理するために統一トークン化戦略を利用する、カスタマイズされた拡散トランスフォーマーフレームワークである。 大規模な実験により、MDiTFaceは顔の忠実度と条件整合性の両方において、競合する他の手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-11-16T14:52:54Z)
• Vision-Language Semantic Aggregation Leveraging Foundation Model for Generalizable Medical Image Segmentation [5.597576681565333]
  本稿では,期待最大化(EM)アグリゲーション機構とテキストガイド付きPixelデコーダを提案する。 後者は、ドメイン不変のテキスト知識を利用して、深い視覚的表現を効果的に導くことによって、意味的ギャップを埋めるように設計されている。 提案手法は,複数の領域一般化ベンチマークにおいて,既存のSOTA手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-09-10T13:16:30Z)
• DCEvo: Discriminative Cross-Dimensional Evolutionary Learning for Infrared and Visible Image Fusion [58.36400052566673]
  赤外線および可視画像融合は、異なるスペクトルバンドからの情報を統合して画質を向上させる。 既存のアプローチでは、画像融合とそれに続くハイレベルなタスクを別プロセスとして扱う。 本稿では、視覚的品質と知覚精度を同時に向上させるDCEvoと呼ばれる識別的クロス次元進化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-22T07:01:58Z)
• Retain, Blend, and Exchange: A Quality-aware Spatial-Stereo Fusion Approach for Event Stream Recognition [57.74076383449153]
  本稿では,差分融合によるイベントストリームに基づくパターン認識のための新しいデュアルストリームフレームワークEFV++を提案する。 イベントイメージとイベントボクセルという2つの共通のイベント表現を同時にモデル化する。 Bullying10kデータセットで新しい最先端のパフォーマンス、すなわち90.51%$を達成し、2位を+2.21%$で上回る。
  論文  参考訳（メタデータ） (2024-06-27T02:32:46Z)
• DiffFAE: Advancing High-fidelity One-shot Facial Appearance Editing with Space-sensitive Customization and Semantic Preservation [84.0586749616249]
  本稿では,高忠実度顔画像編集に適した1段階かつ高効率な拡散ベースフレームワークDiffFAEを提案する。 高忠実度クエリ属性転送には、空間感性物理カスタマイズ(SPC)を採用し、忠実度と一般化能力を保証している。 ソース属性を保存するために、Regional-responsive Semantic Composition (RSC)を導入する。 このモジュールは、切り離されたソースを無視する特徴を学習するためにガイドされ、髪、服、背景などの非顔的属性からアーティファクトを保存し緩和する。
  論文  参考訳（メタデータ） (2024-03-26T12:53:10Z)
• Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for Loss-free Multi-Exposure Image Fusion [60.221404321514086]
  マルチ露光画像融合(MEF)は、様々な露光レベルを表すデジタルイメージングの限界に対処するための重要な解決策である。 本稿では、ネットワーク構造と損失関数の両方を自動設計するための二段階最適化探索方式であるHSDS-MEFと呼ばれるMEFのためのハイブリッドスーパービジョンデュアルサーチ手法を提案する。
  論文  参考訳（メタデータ） (2023-09-03T08:07:26Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。