論文の概要: U-Turn Diffusion

• arxiv url: http://arxiv.org/abs/2308.07421v3
• Date: Wed, 25 Dec 2024 18:35:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:23:10.939116
• Title: U-Turn Diffusion
• Title（参考訳）: U-Turn拡散
• Authors: Hamidreza Behjoo, Michael Chertkov,
• Abstract要約: 我々は,GTサンプル情報をスコア関数(SF)にエンコードする方法に注目した。 本稿では,事前学習した拡散モデルの拡張であるU-Turn拡散を提案する。 ImageNetデータセットのクラス条件SFの実験では、臨界記憶時間$T_mが明らかにされている。
• 参考スコア（独自算出の注目度）: 0.4527270266697462
• License:
• Abstract: We investigate diffusion models generating synthetic samples from the probability distribution represented by the Ground Truth (GT) samples. We focus on how GT sample information is encoded in the Score Function (SF), computed (not simulated) from the Wiener-Ito (WI) linear forward process in the artifical time $t\in [0\to \infty]$, and then used as a nonlinear drift in the simulated WI reverse process with $t\in [\infty\to 0]$. We propose U-Turn diffusion, an augmentation of a pre-trained diffusion model, which shortens the forward and reverse processes to $t\in [0\to T_u]$ and $t\in [T_u\to 0]$. The U-Turn reverse process is initialized at $T_u$ with a sample from the probability distribution of the forward process (initialized at $t=0$ with a GT sample) ensuring a detailed balance relation between the shorten forward and reverse processes. Our experiments on the class-conditioned SF of the ImageNet dataset and the multi-class, single SF of the CIFAR-10 dataset reveal a critical Memorization Time $ T_m $, beyond which generated samples diverge from the GT sample used to initialize the U-Turn scheme, and a Speciation Time $ T_s $, where for $ T_u > T_s > T_m $, samples begin representing different classes. We further examine the role of SF non-linearity through a Gaussian Test, comparing empirical and Gaussian-approximated U-Turn auto-correlation functions, and showing that the SF becomes effectively affine for $ t > T_s $, and approximately affine for $t\in [T_m,T_s]$.
• Abstract（参考訳）: 我々は,GTサンプルで表される確率分布から合成標本を生成する拡散モデルについて検討した。 我々は,Wiener-Ito (WI) 線形フォワードプロセスから,Score Function (SF) で GT サンプル情報をエンコードする方法に焦点をあて,その際,$t\in [0\to \infty]$ で計算し,$t\in [\infty 0]$ で擬似WI逆プロセスの非線形ドリフトとして使用する。 本稿では,前処理と逆処理を$t\in [0\to T_u]$と$t\in [T_u\to 0]$に短縮する事前学習拡散モデルの拡張であるU-Turn拡散を提案する。 U-Turn逆過程は、フォワードプロセスの確率分布(GTサンプルで初期化される$t=0$)からサンプルで$T_u$で初期化され、フォワードプロセスとリバースプロセスの詳細なバランス関係が保証される。 ImageNetデータセットのクラスコンディションSFと、CIFAR-10データセットのマルチクラスの単一SFに関する実験では、重要な記憶時間であるT_m$が示され、U-Turnスキームを初期化するのに使用されるGTサンプルから生成されたサンプルが分離され、仕様時間であるT_s$が$T_u > T_s > T_m $が出現し、サンプルが異なるクラスを表すようになる。 さらに, 経験的およびガウス近似的U-Turn自己相関関数を比較し, SF が t > T_s $ および $t\in [T_m,T_s]$ に対して効果的にアフィンとなることを示す。

関連論文リスト

• Outsourced diffusion sampling: Efficient posterior inference in latent spaces of generative models [65.71506381302815]
  本稿では、$p(mathbfxmidmathbfy) propto p_theta(mathbfx)$ という形式の後続分布からサンプリングするコストを償却する。 多くのモデルと関心の制約に対して、ノイズ空間の後方はデータ空間の後方よりも滑らかであり、そのような償却推論に対してより快適である。
  論文  参考訳（メタデータ） (2025-02-10T19:49:54Z)
• IT$^3$: Idempotent Test-Time Training [95.78053599609044]
  本稿では,分散シフトの課題に対処する新しいアプローチであるIdempotent Test-Time Training (IT$3$)を紹介する。 IT$3$は、イデオロジェンスの普遍性に基づいている。 画像分類の劣化など,様々なタスクにまたがるアプローチの汎用性を実証する。
  論文  参考訳（メタデータ） (2024-10-05T15:39:51Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Consistency Model is an Effective Posterior Sample Approximation for Diffusion Inverse Solvers [28.678613691787096]
  過去の近似は後続の手段に依存しており、画像分布の支持には当てはまらない可能性がある。 本稿では,画像分布支援において有効なサンプルを生成することを保証する,後部近似のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-09T02:23:47Z)
• Model-adapted Fourier sampling for generative compressed sensing [7.130302992490975]
  測定行列が一意行列からランダムにサブサンプリングされたとき, 生成的圧縮センシングについて検討した。 我々は,textitO(kd| boldsymbolalpha|_22)$の測定精度を改良したモデル適応サンプリング戦略を構築した。
  論文  参考訳（メタデータ） (2023-10-08T03:13:16Z)
• Simulation-free Schr\"odinger bridges via score and flow matching [89.4231207928885]
  シミュレーションフリースコアとフローマッチング([SF]$2$M)を提案する。 本手法は,拡散モデルのトレーニングに使用するスコアマッチング損失と,連続流のトレーニングに使用されるフローマッチング損失の両方を一般化する。 特に、[SF]$2$Mは、高次元の細胞動態を正確にモデル化し、既知の遺伝子制御ネットワークをシミュレートする最初の方法である。
  論文  参考訳（メタデータ） (2023-07-07T15:42:35Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Towards Sample-Optimal Compressive Phase Retrieval with Sparse and Generative Priors [59.33977545294148]
  O(k log L)$サンプルは振幅に基づく経験損失関数を最小化する任意のベクトルに信号が近いことを保証するのに十分であることを示す。 この結果はスパース位相検索に適応し、基底信号が$s$-sparseおよび$n$-dimensionalである場合、$O(s log n)$サンプルは同様の保証に十分であることを示す。
  論文  参考訳（メタデータ） (2021-06-29T12:49:54Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。