論文の概要: Advancing Diffusion Models: Alias-Free Resampling and Enhanced Rotational Equivariance

• arxiv url: http://arxiv.org/abs/2411.09174v1
• Date: Thu, 14 Nov 2024 04:23:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:25:38.770648
• Title: Advancing Diffusion Models: Alias-Free Resampling and Enhanced Rotational Equivariance
• Title（参考訳）: 拡散モデルの拡張: エイリアスフリー再サンプリングと回転等価性の向上
• Authors: Md Fahim Anjum,
• Abstract要約: 拡散モデルは、モデルによって引き起こされたアーティファクトと、画像の忠実性に制限された安定性によって、依然として挑戦されている。 拡散モデルのUNetアーキテクチャにエイリアスフリー再サンプリング層を統合することを提案する。 CIFAR-10, MNIST, MNIST-Mなどのベンチマークデータを用いた実験の結果, 画像品質が一貫した向上を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recent advances in image generation, particularly via diffusion models, have led to impressive improvements in image synthesis quality. Despite this, diffusion models are still challenged by model-induced artifacts and limited stability in image fidelity. In this work, we hypothesize that the primary cause of this issue is the improper resampling operation that introduces aliasing in the diffusion model and a careful alias-free resampling dictated by image processing theory can improve the model's performance in image synthesis. We propose the integration of alias-free resampling layers into the UNet architecture of diffusion models without adding extra trainable parameters, thereby maintaining computational efficiency. We then assess whether these theory-driven modifications enhance image quality and rotational equivariance. Our experimental results on benchmark datasets, including CIFAR-10, MNIST, and MNIST-M, reveal consistent gains in image quality, particularly in terms of FID and KID scores. Furthermore, we propose a modified diffusion process that enables user-controlled rotation of generated images without requiring additional training. Our findings highlight the potential of theory-driven enhancements such as alias-free resampling in generative models to improve image quality while maintaining model efficiency and pioneer future research directions to incorporate them into video-generating diffusion models, enabling deeper exploration of the applications of alias-free resampling in generative modeling.
• Abstract（参考訳）: 画像生成の最近の進歩、特に拡散モデルにより、画像合成の品質が著しく向上した。 それにもかかわらず、拡散モデルは、モデルによって引き起こされたアーティファクトと、画像の忠実性に制限された安定性によって、依然として挑戦されている。 本研究では,この問題の主な原因は拡散モデルにエイリアスを導入する不適切な再サンプリング操作であり,画像処理理論によって決定される注意深いエイリアスのない再サンプリングは,画像合成におけるモデルの性能を向上させることができる,という仮説を立てる。 本稿では,拡張モデルのUNetアーキテクチャにエイリアスフリー再サンプリング層を付加することなく統合し,計算効率を向上する手法を提案する。 そして、これらの理論による修正が画像の品質と回転同値性を高めるかどうかを評価する。 CIFAR-10, MNIST, MNIST-Mなどのベンチマークデータを用いた実験結果から, 画像品質, 特にFID, KIDスコアが一貫した向上を示した。 さらに,新たなトレーニングを必要とせず,ユーザが制御した画像の回転を可能にする拡散過程の修正も提案する。 本研究は, 生成モデルにおけるエイリアスフリー再サンプリングなどの理論駆動による画像品質向上の可能性を明らかにするとともに, 映像生成拡散モデルにそれらを組み込むことにより, 生成モデルにおけるエイリアスフリー再サンプリングの応用をより深く探求することを可能にする。

関連論文リスト

• Taming Diffusion Models for Image Restoration: A Review [14.25759541950917]
  拡散モデルは、フォトリアリスティック画像復元のための低レベルコンピュータビジョンに適用されている。 本稿では,拡散モデルにおける鍵となる構成を導入し,拡散モデルを用いた一般的な赤外線課題の解法について検討する。
  論文  参考訳（メタデータ） (2024-09-16T15:04:14Z)
• Sequential Posterior Sampling with Diffusion Models [15.028061496012924]
  条件付き画像合成における逐次拡散後サンプリングの効率を向上させるため,遷移力学をモデル化する新しい手法を提案する。 本研究では,高フレームレート心エコー画像の現実的データセットに対するアプローチの有効性を実証する。 提案手法は,画像の拡散モデルとリアルタイム推論を必要とする他の領域における拡散モデルのリアルタイム適用の可能性を開く。
  論文  参考訳（メタデータ） (2024-09-09T07:55:59Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• DDRF: Denoising Diffusion Model for Remote Sensing Image Fusion [7.06521373423708]
  生成モデルとしてのデノシング拡散モデルは、画像生成の分野で多くの注目を集めている。 画像融合フィールドへの拡散モデルを導入し、画像融合タスクを画像から画像への変換として扱う。 本手法は,画像融合タスクに拡散モデルを適用するために,他の作業に刺激を与え,この分野の洞察を得ることができる。
  論文  参考訳（メタデータ） (2023-04-10T12:28:27Z)
• SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
  SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。 SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。 第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
  論文  参考訳（メタデータ） (2022-11-22T18:00:03Z)
• DiVAE: Photorealistic Images Synthesis with Denoising Diffusion Decoder [73.1010640692609]
  本稿では,拡散デコーダ(DiVAE)を用いたVQ-VAEアーキテクチャモデルを提案する。 我々のモデルは最先端の成果を達成し、さらに多くのフォトリアリスティックな画像を生成する。
  論文  参考訳（メタデータ） (2022-06-01T10:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。