論文の概要: U-Turn Diffusion

• arxiv url: http://arxiv.org/abs/2308.07421v3
• Date: Wed, 25 Dec 2024 18:35:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:23:10.939116
• Title: U-Turn Diffusion
• Title（参考訳）: U-Turn拡散
• Authors: Hamidreza Behjoo, Michael Chertkov,
• Abstract要約: 我々は,GTサンプル情報をスコア関数(SF)にエンコードする方法に注目した。 本稿では,事前学習した拡散モデルの拡張であるU-Turn拡散を提案する。 ImageNetデータセットのクラス条件SFの実験では、臨界記憶時間$T_mが明らかにされている。
• 参考スコア（独自算出の注目度）: 0.4527270266697462
• License:
• Abstract: We investigate diffusion models generating synthetic samples from the probability distribution represented by the Ground Truth (GT) samples. We focus on how GT sample information is encoded in the Score Function (SF), computed (not simulated) from the Wiener-Ito (WI) linear forward process in the artifical time $t\in [0\to \infty]$, and then used as a nonlinear drift in the simulated WI reverse process with $t\in [\infty\to 0]$. We propose U-Turn diffusion, an augmentation of a pre-trained diffusion model, which shortens the forward and reverse processes to $t\in [0\to T_u]$ and $t\in [T_u\to 0]$. The U-Turn reverse process is initialized at $T_u$ with a sample from the probability distribution of the forward process (initialized at $t=0$ with a GT sample) ensuring a detailed balance relation between the shorten forward and reverse processes. Our experiments on the class-conditioned SF of the ImageNet dataset and the multi-class, single SF of the CIFAR-10 dataset reveal a critical Memorization Time $ T_m $, beyond which generated samples diverge from the GT sample used to initialize the U-Turn scheme, and a Speciation Time $ T_s $, where for $ T_u > T_s > T_m $, samples begin representing different classes. We further examine the role of SF non-linearity through a Gaussian Test, comparing empirical and Gaussian-approximated U-Turn auto-correlation functions, and showing that the SF becomes effectively affine for $ t > T_s $, and approximately affine for $t\in [T_m,T_s]$.
• Abstract（参考訳）: 我々は,GTサンプルで表される確率分布から合成標本を生成する拡散モデルについて検討した。 我々は,Wiener-Ito (WI) 線形フォワードプロセスから,Score Function (SF) で GT サンプル情報をエンコードする方法に焦点をあて,その際,$t\in [0\to \infty]$ で計算し,$t\in [\infty 0]$ で擬似WI逆プロセスの非線形ドリフトとして使用する。 本稿では,前処理と逆処理を$t\in [0\to T_u]$と$t\in [T_u\to 0]$に短縮する事前学習拡散モデルの拡張であるU-Turn拡散を提案する。 U-Turn逆過程は、フォワードプロセスの確率分布(GTサンプルで初期化される$t=0$)からサンプルで$T_u$で初期化され、フォワードプロセスとリバースプロセスの詳細なバランス関係が保証される。 ImageNetデータセットのクラスコンディションSFと、CIFAR-10データセットのマルチクラスの単一SFに関する実験では、重要な記憶時間であるT_m$が示され、U-Turnスキームを初期化するのに使用されるGTサンプルから生成されたサンプルが分離され、仕様時間であるT_s$が$T_u > T_s > T_m $が出現し、サンプルが異なるクラスを表すようになる。 さらに, 経験的およびガウス近似的U-Turn自己相関関数を比較し, SF が t > T_s $ および $t\in [T_m,T_s]$ に対して効果的にアフィンとなることを示す。

関連論文リスト

• Enhancing Diffusion Posterior Sampling for Inverse Problems by Integrating Crafted Measurements [45.70011319850862]
  拡散モデルは視覚生成のための強力な基礎モデルとして登場してきた。 現在の後方サンプリングに基づく手法では、測定結果を後方サンプリングに取り込み、対象データの分布を推定する。 本研究は, 早期に高周波情報を早期に導入し, より大きい推定誤差を生じさせることを示す。 工芸品計測を取り入れた新しい拡散後サンプリング手法DPS-CMを提案する。
  論文  参考訳（メタデータ） (2024-11-15T00:06:57Z)
• Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
  拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。 本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。 周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
  論文  参考訳（メタデータ） (2024-03-26T16:57:55Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Interpreting and Improving Diffusion Models from an Optimization Perspective [4.5993996573872185]
  我々はこの観測を用いて、ユークリッド距離関数に適用された近似勾配勾配勾配として拡散モデルを解釈する。 本稿では,理論結果からの洞察を用いてDDIMを一般化した新しい勾配推定サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T00:56:33Z)
• Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
  前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。 例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2023-05-18T16:24:12Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction [31.61199061999173]
  拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。 ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。 ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
  論文  参考訳（メタデータ） (2021-12-09T04:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。