論文の概要: SC-Diff: Semantically Calibrated Diffusion for Visible-to-Infrared Image Translation

• arxiv url: http://arxiv.org/abs/2608.08555v1
• Date: Sun, 09 Aug 2026 07:57:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.866934
• Title: SC-Diff: Semantically Calibrated Diffusion for Visible-to-Infrared Image Translation
• Title（参考訳）: SC-Diff:可視-赤外画像変換のための逐次校正拡散
• Abstract要約: 可視赤外画像変換は、豊富な可視画像を用いて赤外線トレーニングデータを拡張するための実用的な方法を提供する。 既存の拡散に基づくメソッドは、通常、外部条件としてのみセマンティックプリエントを使用する。 SC-Diffは、条件付きガイダンスと内部自己注意校正の両方にセマンティックな事前情報を利用する意味論的潜伏拡散フレームワークである。
• 参考スコア（独自算出の注目度）: 52.62632888060867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visible-to-infrared image translation provides a practical way to expand infrared training data using abundant visible images. Diffusion models are promising for this task because of their strong generative performance. However, existing diffusion-based methods typically use semantic priors only as external conditions, without explicitly regulating token interactions within the denoising network. Consequently, they struggle to preserve object locations, shapes, and semantic layouts required for reliable annotation reuse. We propose SC-Diff, a semantically calibrated latent diffusion framework that uses semantic priors for both conditional guidance and internal self-attention calibration. A pretrained SAM3 model with predefined text prompts first extracts category-specific semantic masks from visible images. These masks are merged into a semantic map and fused with the visible image as the input condition. The same map is converted into token-level semantic labels to calibrate self-attention in the denoising network. Based on these labels, we introduce Semantic-Guided Self-Attention Calibration (SGSC), which adaptively applies positive biases to query-key pairs of the same category. The query-wise calibration strength depends on the dispersion of attention across semantic categories and the attention assigned to the query's own category. The original attention scores further modulate the bias, giving greater calibration to same-category keys with stronger responses. This soft calibration reduces cross-category interference while retaining global contextual interactions, thereby improving semantic consistency in generated infrared images. Extensive experiments show that SC-Diff improves perceptual quality and produces more effective synthetic training data for downstream infrared object detection.
• Abstract（参考訳）: 可視赤外画像変換は、豊富な可視画像を用いて赤外線トレーニングデータを拡張するための実用的な方法を提供する。 拡散モデルは、その強力な生成性能のために、このタスクに対して有望である。 しかし、既存の拡散に基づく手法では、通常は外部条件としてのみセマンティックプリエントを使用するが、デノナイジングネットワーク内のトークンの相互作用を明示的に規制する必要はない。 そのため、信頼できるアノテーションの再利用に必要なオブジェクトの位置、形状、セマンティックなレイアウトを保存するのに苦労している。 SC-Diffは,条件付き指導と自己注意の校正の両方にセマンティックプリミティブを用いた,意味的に校正された潜在拡散フレームワークである。 事前定義されたテキストを持つ事前訓練されたSAM3モデルは、まず、可視画像からカテゴリ固有のセマンティックマスクを抽出する。 これらのマスクはセマンティックマップにマージされ、入力条件として可視画像と融合する。 同じマップはトークンレベルのセマンティックラベルに変換され、デノナイジングネットワークにおける自己アテンションを校正する。 これらのラベルに基づいて,SGSC(Semantic-Guided Self-Attention Calibration)を導入し,同じカテゴリのクエリキー対に対して正のバイアスを適応的に適用する。 クエリワイドキャリブレーションの強さは、セマンティックカテゴリ間での注意の分散と、クエリ自身のカテゴリに割り当てられた注意に依存する。 元々の注意点はさらにバイアスを変調し、より強い応答を持つ同じカテゴリーのキーを校正する。 このソフトキャリブレーションは、グローバルなコンテキスト相互作用を維持しながら、カテゴリ間干渉を低減し、生成した赤外線画像のセマンティック一貫性を向上させる。 広汎な実験により,SC-Diffは知覚品質を向上し,下流赤外線検出のためのより効果的な合成トレーニングデータを生成することがわかった。

関連論文リスト

• Concept-based Visual Counterfactual Explanations with Diffusion Models [6.539386622516073]
  C-VCEは、概念ボトルネック層を通じて、分類器を生成モデルに直接組み込む。 我々のモデルでは,サンプリング中にセマンティックな概念をオン/オフし,最小限のイメージ領域を調整できる。 CelebAのようなベンチマークでは、C-VCEは入力に視覚的に近い反事実を生成しながらフリップレートを一致または改善する。
  論文  参考訳（メタデータ） (2026-05-05T15:32:50Z)
• SGDFuse: SAM-Guided Diffusion for High-Fidelity Infrared and Visible Image Fusion [65.80051636480836]
  本稿では,Segment Anything Model(SAM)によって導かれる条件拡散モデルを提案する。 このフレームワークは2段階のプロセスで動作し、まずマルチモーダルな特徴の予備的な融合を行い、その後、拡散モデルの粗大な分極生成を駆動する条件としてセマンティックマスクを利用する。 SGDFuseは主観的評価と客観的評価の両方において最先端の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-08-07T10:58:52Z)
• FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
  本稿では,潜時拡散モデルにおける周波数制御について検討する。 本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。 FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
  論文  参考訳（メタデータ） (2025-04-02T22:03:11Z)
• CAM-Seg: A Continuous-valued Embedding Approach for Semantic Image Generation [11.170848285659572]
  量子化埋め込みを用いたセグメンテーションマスクのオートエンコーダ精度は連続数値埋め込みよりも8%低い。 セマンティックセグメンテーションのための連続評価組込みフレームワークを提案する。 提案手法では,細粒度のセマンティックな詳細を保存しながら,離散的な潜在表現の必要性を排除している。
  論文  参考訳（メタデータ） (2025-03-19T18:06:54Z)
• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• Spatial Action Unit Cues for Interpretable Deep Facial Expression Recognition [55.97779732051921]
  表情認識(FER)のための最先端の分類器は、エンドユーザーにとって重要な特徴である解釈可能性に欠ける。 新しい学習戦略が提案され、AU cues を分類器訓練に明示的に組み込むことで、深い解釈可能なモデルを訓練することができる。 我々の新しい戦略は汎用的であり、アーキテクチャの変更や追加のトレーニング時間を必要とすることなく、ディープCNNやトランスフォーマーベースの分類器に適用できます。
  論文  参考訳（メタデータ） (2024-10-01T10:42:55Z)
• ASCNet: Asymmetric Sampling Correction Network for Infrared Image Destriping [25.816984064145906]
  非対称サンプリング補正ネットワーク(ASCNet)と呼ばれる新しい赤外画像デストリップ手法を提案する。 我々のASCNetは、Residual Haar Discrete Wavelet Transform (RHDWT), Pixel Shuffle (PS), Column Non-uniformity Correction Module (CNCM)の3つのコア要素で構成されています。
  論文  参考訳（メタデータ） (2024-01-28T06:23:55Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)
• Location-Aware Self-Supervised Transformers [74.76585889813207]
  画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。 参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。 実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-12-05T16:24:29Z)
• Uncertain Label Correction via Auxiliary Action Unit Graphs for Facial Expression Recognition [46.99756911719854]
  ULC-AGと呼ばれる補助行動単位(AU)グラフを用いて,表情の不確実なラベル補正を実現する。 ULC-AGはRAF-DBとAffectNetのデータセットでそれぞれ89.31%と61.57%の精度を達成した。
  論文  参考訳（メタデータ） (2022-04-23T11:09:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。