論文の概要: f-DM: A Multi-stage Diffusion Model via Progressive Signal Transformation

• arxiv url: http://arxiv.org/abs/2210.04955v1
• Date: Mon, 10 Oct 2022 18:49:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 14:35:32.766291
• Title: f-DM: A Multi-stage Diffusion Model via Progressive Signal Transformation
• Title（参考訳）: f-DM:進行信号変換による多段階拡散モデル
• Authors: Jiatao Gu, Shuangfei Zhai, Yizhe Zhang, Miguel Angel Bautista, Josh Susskind
• Abstract要約: 拡散モデル(DM)は、最近、様々な領域で生成モデリングを行うためのSoTAツールとして登場した。 本稿では、プログレッシブ信号変換が可能なDMの一般化されたファミリであるf-DMを提案する。 我々は、ダウンサンプリング、ぼやけ、学習された変換を含む様々な機能を持つ画像生成タスクにf-DMを適用した。
• 参考スコア（独自算出の注目度）: 56.04628143914542
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion models (DMs) have recently emerged as SoTA tools for generative modeling in various domains. Standard DMs can be viewed as an instantiation of hierarchical variational autoencoders (VAEs) where the latent variables are inferred from input-centered Gaussian distributions with fixed scales and variances. Unlike VAEs, this formulation limits DMs from changing the latent spaces and learning abstract representations. In this work, we propose f-DM, a generalized family of DMs which allows progressive signal transformation. More precisely, we extend DMs to incorporate a set of (hand-designed or learned) transformations, where the transformed input is the mean of each diffusion step. We propose a generalized formulation and derive the corresponding de-noising objective with a modified sampling algorithm. As a demonstration, we apply f-DM in image generation tasks with a range of functions, including down-sampling, blurring, and learned transformations based on the encoder of pretrained VAEs. In addition, we identify the importance of adjusting the noise levels whenever the signal is sub-sampled and propose a simple rescaling recipe. f-DM can produce high-quality samples on standard image generation benchmarks like FFHQ, AFHQ, LSUN, and ImageNet with better efficiency and semantic interpretation.
• Abstract（参考訳）: 拡散モデル (dms) は様々な領域における生成モデリングのための sota ツールとして最近登場した。 標準DMは階層的変分オートエンコーダ(VAE)のインスタンス化と見なすことができ、従属変数は一定のスケールと分散を持つ入力中心ガウス分布から推定される。 VAEとは異なり、この定式化はDMが潜在空間の変更や抽象表現の学習を制限している。 本研究では,プログレッシブ信号変換が可能な一般化されたDMファミリであるf-DMを提案する。 より正確には、dmsを拡張して、変換された入力が各拡散ステップの平均となる一連の(手設計または学習された)変換を組み込む。 一般化された定式化を提案し、改良されたサンプリングアルゴリズムを用いて対応する雑音除去対象を導出する。 実演として,事前学習されたvaesのエンコーダに基づくダウンサンプリング,ぼかし,学習変換など,さまざまな機能を備えた画像生成タスクにf-dmを適用する。 また,信号のサブサンプリング時にノイズレベルを調整することの重要性を認識し,簡易な再スケーリング手法を提案する。 f-DMはFFHQ、AFHQ、LSUN、ImageNetなどの標準画像生成ベンチマーク上で、効率性とセマンティックな解釈により高品質なサンプルを生成することができる。

関連論文リスト

• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• Semantic Image Inversion and Editing using Rectified Stochastic Differential Equations [41.87051958934507]
  本稿では, (i) 逆転と (ii) 修正フローモデル(Flux など)を用いた実画像の編集という2つの重要な課題に対処する。 本手法は,ゼロショット・インバージョン・編集における最先端性能を実現し,ストローク・ツー・イメージ合成やセマンティック・イメージ編集における先行技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-14T17:56:24Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax [73.03684002513218]
  我々はDeep InfoMax(DIM)を拡張し、学習した表現を選択された事前分布に自動マッチングできるようにする。 このような修正により、一様かつ通常に分散した表現を学習できることを示す。 その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。
  論文  参考訳（メタデータ） (2024-10-09T15:40:04Z)
• Self-Consistent Recursive Diffusion Bridge for Medical Image Translation [6.850683267295248]
  ディノイング拡散モデル (DDM) は, 対向モデルよりも訓練安定性が向上し, 医用画像翻訳において近年注目を集めている。 医用画像翻訳の性能向上を目的とした自己整合反復拡散橋(SelfRDB)を提案する。 マルチコントラストMRIおよびMRI-CT翻訳における包括的解析は、SelfRDBが競合する手法に対して優れた性能を提供することを示している。
  論文  参考訳（メタデータ） (2024-05-10T19:39:55Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Representation Learning with Diffusion Models [0.0]
  拡散モデル (DM) は画像合成タスクや密度推定において最先端の結果を得た。 拡散モデル(LRDM)を用いてそのような表現を学習するためのフレームワークを提案する。 特に、DMと表現エンコーダは、生成的認知過程に特有の豊かな表現を学習するために、共同で訓練される。
  論文  参考訳（メタデータ） (2022-10-20T07:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。