論文の概要: C-DiffSET: Leveraging Latent Diffusion for SAR-to-EO Image Translation with Confidence-Guided Reliable Object Generation

• arxiv url: http://arxiv.org/abs/2411.10788v1
• Date: Sat, 16 Nov 2024 12:28:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:27:31.619803
• Title: C-DiffSET: Leveraging Latent Diffusion for SAR-to-EO Image Translation with Confidence-Guided Reliable Object Generation
• Title（参考訳）: C-DiffSET:信頼誘導信頼オブジェクト生成によるSAR-EO画像変換における遅延拡散の活用
• Authors: Jeonghyeok Do, Jaehyup Lee, Munchurl Kim,
• Abstract要約: C-DiffSETは、訓練済みの遅延拡散モデル(LDM)を自然画像で広く訓練したフレームワークである。 顕著なことに、事前訓練されたVAEエンコーダは、SAR入力のノイズレベルが異なる場合でも、同じ潜時空間でSARとEOの画像を整列する。
• 参考スコア（独自算出の注目度）: 23.63992950769041
• License:
• Abstract: Synthetic Aperture Radar (SAR) imagery provides robust environmental and temporal coverage (e.g., during clouds, seasons, day-night cycles), yet its noise and unique structural patterns pose interpretation challenges, especially for non-experts. SAR-to-EO (Electro-Optical) image translation (SET) has emerged to make SAR images more perceptually interpretable. However, traditional approaches trained from scratch on limited SAR-EO datasets are prone to overfitting. To address these challenges, we introduce Confidence Diffusion for SAR-to-EO Translation, called C-DiffSET, a framework leveraging pretrained Latent Diffusion Model (LDM) extensively trained on natural images, thus enabling effective adaptation to the EO domain. Remarkably, we find that the pretrained VAE encoder aligns SAR and EO images in the same latent space, even with varying noise levels in SAR inputs. To further improve pixel-wise fidelity for SET, we propose a confidence-guided diffusion (C-Diff) loss that mitigates artifacts from temporal discrepancies, such as appearing or disappearing objects, thereby enhancing structural accuracy. C-DiffSET achieves state-of-the-art (SOTA) results on multiple datasets, significantly outperforming the very recent image-to-image translation methods and SET methods with large margins.
• Abstract（参考訳）: SAR(Synthetic Aperture Radar)画像は、堅牢な環境と時間的カバレッジ(雲、季節、昼夜のサイクルなど)を提供するが、そのノイズとユニークな構造パターンは、特に非専門家にとって、解釈上の課題を引き起こす。 SAR-to-EO(Electro-Optical)画像翻訳(SET)は、SAR画像をより知覚的に解釈できるようにしている。 しかし、限られたSAR-EOデータセットでスクラッチからトレーニングされた従来のアプローチは、過度に適合する傾向がある。 C-DiffSET(C-DiffSET)は、未学習の遅延拡散モデル(LDM)を自然画像上で広範囲に訓練し、EOドメインへの効果的な適応を可能にするフレームワークである。 顕著なことに、事前訓練されたVAEエンコーダは、SAR入力のノイズレベルが異なる場合でも、同じ潜時空間でSARとEOの画像を整列する。 SETの画素ワイド忠実度をさらに向上するため,物体の出現や消失などの時間的不一致からアーティファクトを軽減し,構造精度を向上する信頼誘導拡散(C-Diff)損失を提案する。 C-DiffSETは、複数のデータセット上で最新技術(SOTA)結果を達成する。

関連論文リスト

• Conditional Brownian Bridge Diffusion Model for VHR SAR to Optical Image Translation [5.578820789388206]
  本稿では,Brownian Bridge Diffusion Model(BBDM)に基づく条件付き画像から画像への変換手法を提案する。 我々は、MSAWデータセット、ペアSAR、0.5m Very-High-Resolution (VHR) の光学画像収集に関する総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-08-15T05:43:46Z)
• Accelerating Diffusion for SAR-to-Optical Image Translation via Adversarial Consistency Distillation [5.234109158596138]
  本稿では,SAR-to-optical Image translationのための新しいトレーニングフレームワークを提案する。 本手法では, 画像の明瞭度を保証し, 色変化を最小限に抑えるために, 反復推論ステップの低減に一貫性蒸留を用い, 対角学習を統合した。 その結果,提案手法は生成画像の視覚的品質を維持しつつ,推論速度を131倍向上させることを示した。
  論文  参考訳（メタデータ） (2024-07-08T16:36:12Z)
• SAR Despeckling via Regional Denoising Diffusion Probabilistic Model [6.154796320245652]
  生成モデルに基づく領域分割拡散確率モデル(R-DDPM) 本稿では, 生成モデルに基づく領域分割拡散確率モデル (R-DDPM) を提案する。
  論文  参考訳（メタデータ） (2024-01-06T04:34:46Z)
• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Improved Flood Insights: Diffusion-Based SAR to EO Image Translation [4.994315051443544]
  本稿では,新しいフレームワークである拡散型SAR to EO Image Translation (DSE)を紹介する。 DSEフレームワークは,SAR画像をEO画像に変換することにより,洪水の洞察の解釈可能性を高める。 Sen1Floods11とSEN12-FLOODデータセットの実験結果は、DSEフレームワークが拡張された視覚情報を提供するだけでなく、パフォーマンスも向上していることを確認した。
  論文  参考訳（メタデータ） (2023-07-14T02:19:23Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• DDS2M: Self-Supervised Denoising Diffusion Spatio-Spectral Model for Hyperspectral Image Restoration [103.79030498369319]
  ハイパースペクトル画像復元のための自己教師付き拡散モデルを提案する。 textttDDS2Mは、既存の拡散法と比較して、より強力な一般化能力を持っている。 HSIのノイズ除去、ノイズ除去、様々なHSIの超解像実験は、既存のタスク固有状態よりもtextttDDS2Mの方が優れていることを示した。
  論文  参考訳（メタデータ） (2023-03-12T14:57:04Z)
• SAR Despeckling using a Denoising Diffusion Probabilistic Model [52.25981472415249]
  スペックルの存在は画像品質を劣化させ、SAR画像理解アプリケーションの性能に悪影響を及ぼす。 本稿では,SAR脱種のための拡散確率モデルであるSAR-DDPMを紹介する。 提案手法は, 最先端の切り離し法と比較して, 定量化と定性化の両面で有意な改善を実現している。
  論文  参考訳（メタデータ） (2022-06-09T14:00:26Z)
• Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
  実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。 監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。 ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
  論文  参考訳（メタデータ） (2020-12-18T08:25:39Z)
• Speckle2Void: Deep Self-Supervised SAR Despeckling with Blind-Spot Convolutional Neural Networks [30.410981386006394]
  切り離しはシーン分析アルゴリズムの 重要な予備段階です ディープラーニングの最近の成功は、新しい世代の非仕様化技術が想定されている。 本稿では,自己教師型ベイズ解法を提案する。
  論文  参考訳（メタデータ） (2020-07-04T11:38:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。