論文の概要: On Statistical Rates of Conditional Diffusion Transformers: Approximation, Estimation and Minimax Optimality

• arxiv url: http://arxiv.org/abs/2411.17522v1
• Date: Tue, 26 Nov 2024 15:30:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:33:34.846974
• Title: On Statistical Rates of Conditional Diffusion Transformers: Approximation, Estimation and Minimax Optimality
• Title（参考訳）: 条件拡散変圧器の統計速度について:近似,推定,最小最適性について
• Authors: Jerry Yao-Chieh Hu, Weimin Wu, Yi-Chen Lee, Yu-Chao Huang, Minshuo Chen, Han Liu,
• Abstract要約: 条件付きDiTと潜伏変種の両方が、特定条件下での非条件付きDiTの最小最適性をもたらすことを示す。 本研究は, 条件付きおよび非条件付きDiTの統計的限界を確立し, より効率的かつ高精度なDiTモデル開発に向けた実践的ガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 15.889816082916722
• License:
• Abstract: We investigate the approximation and estimation rates of conditional diffusion transformers (DiTs) with classifier-free guidance. We present a comprehensive analysis for ``in-context'' conditional DiTs under four common data assumptions. We show that both conditional DiTs and their latent variants lead to the minimax optimality of unconditional DiTs under identified settings. Specifically, we discretize the input domains into infinitesimal grids and then perform a term-by-term Taylor expansion on the conditional diffusion score function under H\"older smooth data assumption. This enables fine-grained use of transformers' universal approximation through a more detailed piecewise constant approximation and hence obtains tighter bounds. Additionally, we extend our analysis to the latent setting under the linear latent subspace assumption. We not only show that latent conditional DiTs achieve lower bounds than conditional DiTs both in approximation and estimation, but also show the minimax optimality of latent unconditional DiTs. Our findings establish statistical limits for conditional and unconditional DiTs, and offer practical guidance toward developing more efficient and accurate DiT models.
• Abstract（参考訳）: 条件拡散変圧器 (DiT) の近似と推定率について, 分類器フリーガイダンスを用いて検討した。 In-context''条件付きDiTを4つの共通データ仮定で包括的に解析する。 条件付きDiTと潜伏変種の両方が、特定条件下での非条件付きDiTの最小最適性をもたらすことを示す。 具体的には、入力領域を無限小格子に識別し、H\"古いスムーズなデータ仮定の下で条件付き拡散スコア関数上で長期テイラー展開を行う。 これにより、より詳細な部分的定数近似による変換器の普遍近似のきめ細かい利用が可能となり、より厳密な境界が得られる。 さらに、線形潜在部分空間仮定の下での潜在設定まで解析を拡張します。 潜在条件付きDiTは、近似と推定の両方において条件付きDiTよりも低い境界を達成できるだけでなく、潜在条件付きDiTの最小最適性を示す。 本研究は, 条件付きおよび非条件付きDiTの統計的限界を確立し, より効率的かつ高精度なDiTモデル開発に向けた実践的ガイダンスを提供する。

関連論文リスト

• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• On Statistical Rates and Provably Efficient Criteria of Latent Diffusion Transformers (DiTs) [12.810268045479992]
  本研究では,DiTsスコア関数の普遍近似とサンプル複雑性について検討した。 我々は、潜伏型DiTが初期データの高次元性に関わる課題を回避できる可能性を示している。
  論文  参考訳（メタデータ） (2024-07-01T08:34:40Z)
• Flow matching achieves almost minimax optimal convergence [50.38891696297888]
  フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。 本稿では,大試料径のFMの収束特性を$p$-Wasserstein 距離で論じる。 我々は、FMが1leq p leq 2$でほぼ最小の収束率を達成できることを確立し、FMが拡散モデルに匹敵する収束率に達するという最初の理論的証拠を示す。
  論文  参考訳（メタデータ） (2024-05-31T14:54:51Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Consistent Optimal Transport with Empirical Conditional Measures [0.6562256987706128]
  共振器における2つの関節分布間の最適輸送(OT)の問題点を考察する。 我々は、共同サンプル上で計算されたカーネル化された最小二乗項を使用し、輸送計画の条件的目的に暗黙的に一致する。 本手法は, 治療に対する細胞応答予測の文脈において, 短時間の分類のための即時学習や条件生成などの応用に適用する場合, 最先端の手法を改良する。
  論文  参考訳（メタデータ） (2023-05-25T10:01:57Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Conditional Distributional Treatment Effect with Kernel Conditional Mean Embeddings and U-Statistic Regression [20.544239209511982]
  条件付き分布処理効果(CoDiTE) CoDiTEは平均を超える治療の分布側面を符号化する。 合成,半合成,実データに関する実験は,このアプローチのメリットを示している。
  論文  参考訳（メタデータ） (2021-02-16T15:09:23Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。