論文の概要: On Statistical Rates and Provably Efficient Criteria of Latent Diffusion Transformers (DiTs)
- arxiv url: http://arxiv.org/abs/2407.01079v2
- Date: Thu, 22 Aug 2024 06:25:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 18:56:04.277735
- Title: On Statistical Rates and Provably Efficient Criteria of Latent Diffusion Transformers (DiTs)
- Title(参考訳): 潜伏拡散変圧器(DiTs)の統計的速度と有効基準について
- Authors: Jerry Yao-Chieh Hu, Weimin Wu, Zhao Song, Han Liu,
- Abstract要約: 低次元線形潜時空間仮定の下で、潜時テキストbfDiffusion textbfTransformers(textbfDiTs)の限界について検討する。
具体的には、潜時空間次元のサブ線形である潜時DiTのスコアネットワークに対して、近似誤差を導出する。
- 参考スコア(独自算出の注目度): 12.810268045479992
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We investigate the statistical and computational limits of latent \textbf{Di}ffusion \textbf{T}ransformers (\textbf{DiT}s) under the low-dimensional linear latent space assumption. Statistically, we study the universal approximation and sample complexity of the DiTs score function, as well as the distribution recovery property of the initial data. Specifically, under mild data assumptions, we derive an approximation error bound for the score network of latent DiTs, which is sub-linear in the latent space dimension. Additionally, we derive the corresponding sample complexity bound and show that the data distribution generated from the estimated score function converges toward a proximate area of the original one. Computationally, we characterize the hardness of both forward inference and backward computation of latent DiTs, assuming the Strong Exponential Time Hypothesis (SETH). For forward inference, we identify efficient criteria for all possible latent DiTs inference algorithms and showcase our theory by pushing the efficiency toward almost-linear time inference. For backward computation, we leverage the low-rank structure within the gradient computation of DiTs training for possible algorithmic speedup. Specifically, we show that such speedup achieves almost-linear time latent DiTs training by casting the DiTs gradient as a series of chained low-rank approximations with bounded error. Under the low-dimensional assumption, we show that the convergence rate and the computational efficiency are both dominated by the dimension of the subspace, suggesting that latent DiTs have the potential to bypass the challenges associated with the high dimensionality of initial data.
- Abstract(参考訳): 低次元線形ラテント空間仮定の下で、潜伏型 \textbf{Di}ffusion \textbf{T}ransformers (\textbf{DiT}s) の統計的および計算的限界について検討する。
統計的には,DiTsスコア関数の普遍近似とサンプル複雑性,および初期データの分布回復特性について検討する。
具体的には、軽度のデータ仮定の下では、潜時空間次元のサブ線形である潜時DiTのスコアネットワークに対して近似誤差を導出する。
さらに、対応するサンプルの複雑性境界を導出し、推定スコア関数から生成されたデータ分布が元の値の近距離領域に収束することを示す。
計算学的には、Strong Exponential Time hypothesis (SETH) を仮定して、前向き推論と遅延DiTの後方計算の両方の硬さを特徴付ける。
フォワード推論では,全ての遅延DiTs推論アルゴリズムの効率的な基準を特定し,その効率をほぼ線形時間推論に推し進めることで理論を実証する。
逆向きの計算では、アルゴリズムの高速化のために、DiTsトレーニングの勾配計算の低ランク構造を利用する。
具体的には、Dits勾配を一連の鎖状低ランク近似として有界誤差でキャストすることにより、ほぼ直線的なDiTsトレーニングを実現することを示す。
低次元の仮定では、収束速度と計算効率が共に部分空間の次元に支配されていることが示され、遅延DiTは初期データの高次元性に関連する課題を回避できる可能性が示唆された。
関連論文リスト
- Computational and Statistical Guarantees for Tensor-on-Tensor Regression with Tensor Train Decomposition [27.29463801531576]
TTに基づくToT回帰モデルの理論的およびアルゴリズム的側面について検討する。
制約付き誤差境界に対する解を効率的に見つけるための2つのアルゴリズムを提案する。
我々はIHTとRGDの両方の線形収束速度を確立する。
論文 参考訳(メタデータ) (2024-06-10T03:51:38Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Fast Shapley Value Estimation: A Unified Approach [71.92014859992263]
冗長な手法を排除し、単純で効率的なシェープリー推定器SimSHAPを提案する。
既存手法の解析において、推定器は特徴部分集合からランダムに要約された値の線形変換として統一可能であることを観察する。
実験により,SimSHAPの有効性が検証され,精度の高いShapley値の計算が大幅に高速化された。
論文 参考訳(メタデータ) (2023-11-02T06:09:24Z) - Flow-based Distributionally Robust Optimization [23.232731771848883]
We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。
我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。
本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
論文 参考訳(メタデータ) (2023-10-30T03:53:31Z) - Stochastic Optimization for Non-convex Problem with Inexact Hessian
Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。
TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文 参考訳(メタデータ) (2023-10-18T10:29:58Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - Rigorous dynamical mean field theory for stochastic gradient descent
methods [17.90683687731009]
一階勾配法の一家系の正確な高次元に対する閉形式方程式を証明した。
これには勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。
論文 参考訳(メタデータ) (2022-10-12T21:10:55Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳(メタデータ) (2022-10-03T06:09:01Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Tensor Train Random Projection [0.0]
本研究は、次元減少のための新しいテンソルトレインランダムプロジェクション(TTRP)法を提案する。
我々のTTRPは、TTランクが1に等しいテンソルトレイン表現によって体系的に構築されている。
テンソルトレイン形式に基づいて、この新しいランダムプロジェクション法は、高次元データセットの次元削減手順を高速化することができる。
論文 参考訳(メタデータ) (2020-10-21T07:31:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。