論文の概要: Accelerating Diffusion for SAR-to-Optical Image Translation via Adversarial Consistency Distillation

• arxiv url: http://arxiv.org/abs/2407.06095v1
• Date: Mon, 8 Jul 2024 16:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 14:51:28.485755
• Title: Accelerating Diffusion for SAR-to-Optical Image Translation via Adversarial Consistency Distillation
• Title（参考訳）: 逆整合蒸留によるSAR-オプティカル画像変換の高速化
• Authors: Xinyu Bai, Feng Xu,
• Abstract要約: 本稿では,SAR-to-optical Image translationのための新しいトレーニングフレームワークを提案する。 本手法では, 画像の明瞭度を保証し, 色変化を最小限に抑えるために, 反復推論ステップの低減に一貫性蒸留を用い, 対角学習を統合した。 その結果,提案手法は生成画像の視覚的品質を維持しつつ,推論速度を131倍向上させることを示した。
• 参考スコア（独自算出の注目度）: 5.234109158596138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthetic Aperture Radar (SAR) provides all-weather, high-resolution imaging capabilities, but its unique imaging mechanism often requires expert interpretation, limiting its widespread applicability. Translating SAR images into more easily recognizable optical images using diffusion models helps address this challenge. However, diffusion models suffer from high latency due to numerous iterative inferences, while Generative Adversarial Networks (GANs) can achieve image translation with just a single iteration but often at the cost of image quality. To overcome these issues, we propose a new training framework for SAR-to-optical image translation that combines the strengths of both approaches. Our method employs consistency distillation to reduce iterative inference steps and integrates adversarial learning to ensure image clarity and minimize color shifts. Additionally, our approach allows for a trade-off between quality and speed, providing flexibility based on application requirements. We conducted experiments on SEN12 and GF3 datasets, performing quantitative evaluations using Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM), and Frechet Inception Distance (FID), as well as calculating the inference latency. The results demonstrate that our approach significantly improves inference speed by 131 times while maintaining the visual quality of the generated images, thus offering a robust and efficient solution for SAR-to-optical image translation.
• Abstract（参考訳）: SAR(Synthetic Aperture Radar)は、全天候で高解像度の撮像機能を提供するが、そのユニークな撮像機構は、しばしば専門家による解釈を必要とし、適用範囲を制限している。 SAR画像を拡散モデルを用いてより容易に認識可能な光学画像に変換することは、この問題に対処するのに役立つ。 しかし、拡散モデルは、多くの反復的推論のためにレイテンシが高く、一方、GAN(Generative Adversarial Networks)は、1回の反復で画像変換を達成できるが、画像品質のコストがかかることが多い。 これらの課題を克服するために,両手法の長所を組み合わせたSAR-光画像翻訳のための新たなトレーニングフレームワークを提案する。 本手法では, 画像の明瞭度確保とカラーシフトの最小化のために, 反復推論ステップの低減に一貫性蒸留を用い, 対角学習を統合した。 さらに、当社のアプローチは品質とスピードのトレードオフを可能にし、アプリケーション要件に基づいた柔軟性を提供します。 我々は、SEN12とGF3データセットの実験を行い、Pak Signal-to-Noise Ratio(PSNR)、Structure similarity Index(SSIM)、Frechet Inception Distance(FID)を用いて定量的評価を行い、推論遅延を計算した。 その結果, 画像の視覚的品質を保ちながら, 推論速度を131倍に向上し, SAR-to-optical Image Translationの堅牢かつ効率的な解法が得られた。

関連論文リスト

• C-DiffSET: Leveraging Latent Diffusion for SAR-to-EO Image Translation with Confidence-Guided Reliable Object Generation [23.63992950769041]
  C-DiffSETは、訓練済みの遅延拡散モデル(LDM)を自然画像で広く訓練したフレームワークである。 顕著なことに、事前訓練されたVAEエンコーダは、SAR入力のノイズレベルが異なる場合でも、同じ潜時空間でSARとEOの画像を整列する。
  論文  参考訳（メタデータ） (2024-11-16T12:28:40Z)
• A Wavelet Diffusion GAN for Image Super-Resolution [7.986370916847687]
  拡散モデルは,高忠実度画像生成のためのGAN(Generative Adversarial Network)の優れた代替品として登場した。 しかし、そのリアルタイム実現性は、遅いトレーニングと推論速度によって妨げられている。 本研究では,ウェーブレットを用いた単一画像超解法のための条件拡散GANスキームを提案する。
  論文  参考訳（メタデータ） (2024-10-23T15:34:06Z)
• One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
  拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。 近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。 我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:47:22Z)
• SAR to Optical Image Translation with Color Supervised Diffusion Model [5.234109158596138]
  本稿では,SAR画像をより分かりやすい光学画像に変換するために,革新的な生成モデルを提案する。 サンプリングプロセスでは,SARイメージを条件付きガイドとして使用し,カラーシフト問題に対処するために色管理を統合する。
  論文  参考訳（メタデータ） (2024-07-24T01:11:28Z)
• Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
  本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。 提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。 提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
  論文  参考訳（メタデータ） (2024-03-12T05:06:07Z)
• ResShift: Efficient Diffusion Model for Image Super-resolution by Residual Shifting [70.83632337581034]
  拡散に基づく画像超解像法(SR)は主に低推論速度によって制限される。 本稿では,SRの拡散段数を大幅に削減する新しい,効率的な拡散モデルを提案する。 本手法は,残差をシフトすることで高分解能画像と低分解能画像の間を移動させるマルコフ連鎖を構成する。
  論文  参考訳（メタデータ） (2023-07-23T15:10:02Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• SAR Despeckling using a Denoising Diffusion Probabilistic Model [52.25981472415249]
  スペックルの存在は画像品質を劣化させ、SAR画像理解アプリケーションの性能に悪影響を及ぼす。 本稿では,SAR脱種のための拡散確率モデルであるSAR-DDPMを紹介する。 提案手法は, 最先端の切り離し法と比較して, 定量化と定性化の両面で有意な改善を実現している。
  論文  参考訳（メタデータ） (2022-06-09T14:00:26Z)
• Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
  実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。 監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。 ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
  論文  参考訳（メタデータ） (2020-12-18T08:25:39Z)
• Boosting Image Super-Resolution Via Fusion of Complementary Information Captured by Multi-Modal Sensors [21.264746234523678]
  イメージスーパーレゾリューション(sr)は、低解像度光センサの画質を向上させる有望な技術である。 本稿では,安価なチャネル(可視・深度)からの補完情報を活用して,少ないパラメータを用いて高価なチャネル(熱)の画像品質を向上させる。
  論文  参考訳（メタデータ） (2020-12-07T02:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。