論文の概要: Shallow diffusion networks provably learn hidden low-dimensional structure

• arxiv url: http://arxiv.org/abs/2410.11275v1
• Date: Tue, 15 Oct 2024 04:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:55.487663
• Title: Shallow diffusion networks provably learn hidden low-dimensional structure
• Title（参考訳）: 浅拡散ネットワークは隠れた低次元構造を確実に学習する
• Authors: Nicholas M. Boffi, Arthur Jacot, Stephen Tu, Ingvar Ziemann,
• Abstract要約: 拡散に基づく生成モデルは、複雑なターゲット分布からサンプルを学習するための強力なフレームワークを提供する。 これらのモデルは、低次元構造の単純な形式に確実に適応し、従って次元性の呪いを避けることが示される。 この結果と最近の拡散モデルによるサンプリング解析を組み合わせることで,構造化分布からサンプルを学習するためのエンドツーエンドのサンプル複雑性を実現する。
• 参考スコア（独自算出の注目度）: 17.563546018565468
• License:
• Abstract: Diffusion-based generative models provide a powerful framework for learning to sample from a complex target distribution. The remarkable empirical success of these models applied to high-dimensional signals, including images and video, stands in stark contrast to classical results highlighting the curse of dimensionality for distribution recovery. In this work, we take a step towards understanding this gap through a careful analysis of learning diffusion models over the Barron space of single layer neural networks. In particular, we show that these shallow models provably adapt to simple forms of low dimensional structure, thereby avoiding the curse of dimensionality. We combine our results with recent analyses of sampling with diffusion models to provide an end-to-end sample complexity bound for learning to sample from structured distributions. Importantly, our results do not require specialized architectures tailored to particular latent structures, and instead rely on the low-index structure of the Barron space to adapt to the underlying distribution.
• Abstract（参考訳）: 拡散に基づく生成モデルは、複雑なターゲット分布からサンプルを学習するための強力なフレームワークを提供する。 画像やビデオなどの高次元信号に適用されたこれらのモデルの顕著な経験的成功は、分布回復のための次元性の呪いを強調する古典的な結果とは対照的である。 本研究では,単一層ニューラルネットワークのバロン空間上での学習拡散モデルの解析を通じて,このギャップを理解するための一歩を踏み出した。 特に、これらの浅いモデルが低次元構造の単純な形式に確実に適応していることを示し、従って次元性の呪いを避ける。 この結果と最近の拡散モデルによるサンプリング解析を組み合わせることで,構造化分布からサンプルを学習するためのエンドツーエンドのサンプル複雑性を実現する。 重要なことは、我々の結果は特定の潜在構造に合わせた特殊なアーキテクチャを必要とせず、基礎となる分布に適応するためにバロン空間の低次元構造に依存することである。

関連論文リスト

• Scaling Laws with Hidden Structure [2.474908349649168]
  近年の進歩は、テキストと画像データがそのような隠された構造を含んでいることを示唆しており、次元の呪いを和らげるのに役立つ。 本稿では,ニューラルネットワークが実際にそのような隠された因子構造を活用できるかどうかを検証するための制御された実験枠組みを提案する。 これらの潜在パターンを利用して離散分布をより効率的に学習し、モデルサイズ、隠れ分解、精度をリンクするスケーリング法則を導出することを発見した。
  論文  参考訳（メタデータ） (2024-11-02T22:32:53Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Diffusion Models Learn Low-Dimensional Distributions via Subspace Clustering [15.326641037243006]
  拡散モデルは画像分布を効果的に学習し、新しいサンプルを生成する。 我々は、この現象に関する理論的な洞察を、重要な経験的観測を利用して提供する。 基礎となる分布を学習するのに必要となるサンプルの最小数は、本質的な次元と線形にスケールすることを示す。
  論文  参考訳（メタデータ） (2024-09-04T04:14:02Z)
• Structure-Guided Adversarial Training of Diffusion Models [27.723913809313125]
  拡散モデル(SADM)の構造誘導型逆トレーニングについて紹介する。 トレーニングバッチ毎にサンプル間の多様体構造を学習するようにモデルを強制する。 SADMは既存の拡散変換器を大幅に改善し、画像生成や微調整タスクにおいて既存の手法より優れている。
  論文  参考訳（メタデータ） (2024-02-27T15:05:13Z)
• Neural Network Parameter Diffusion [50.85251415173792]
  拡散モデルは画像生成やビデオ生成において顕著な成功を収めた。 本研究は拡散モデルにも適用可能であることを示す。 高性能なニューラルネットワークパラメータを生成する。
  論文  参考訳（メタデータ） (2024-02-20T16:59:03Z)
• Diffusion Model with Cross Attention as an Inductive Bias for Disentanglement [58.9768112704998]
  遠方表現学習は、観測データ内の本質的要因を抽出する試みである。 我々は新しい視点と枠組みを導入し、クロスアテンションを持つ拡散モデルが強力な帰納バイアスとなることを示す。 これは、複雑な設計を必要とせず、クロスアテンションを持つ拡散モデルの強力な解離能力を明らかにする最初の研究である。
  論文  参考訳（メタデータ） (2024-02-15T05:07:54Z)
• The Hidden Linear Structure in Score-Based Models and its Application [2.1756081703276]
  十分に訓練された拡散モデルでは、高雑音スケールでの学習スコアはガウスの線形スコアによってよく近似されることを示す。 スコアベースモデルにおける線形構造の発見は、より良いモデル設計とデータ前処理に影響を及ぼす。
  論文  参考訳（メタデータ） (2023-11-17T22:25:07Z)
• Phasic Content Fusing Diffusion Model with Directional Distribution Consistency for Few-Shot Model Adaption [73.98706049140098]
  本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。 具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。 最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-07T14:14:11Z)
• Learning multi-scale local conditional probability models of images [7.07848787073901]
  ディープニューラルネットワークは、最近のスコアベース拡散法で得られた高品質な世代によって証明されたように、画像の強力な事前確率モデルを学ぶことができる。 しかし、これらのネットワークが複雑なグローバルな統計構造をとらえる手段は、明らかに次元の呪いに苦しむことなく、謎のままだ。 我々は拡散法を多スケール分解に取り入れ、粗大係数に条件付きウェーブレット係数の定常局所マルコフモデルを仮定することにより次元性を減少させる。
  論文  参考訳（メタデータ） (2023-03-06T09:23:14Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。