論文の概要: Local Diffusion Models and Phases of Data Distributions

• arxiv url: http://arxiv.org/abs/2508.06614v1
• Date: Fri, 08 Aug 2025 18:01:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.470735
• Title: Local Diffusion Models and Phases of Data Distributions
• Title（参考訳）: 局所拡散モデルとデータ分布の位相
• Authors: Fangjun Hu, Guangkuo Liu, Yifan Zhang, Xun Gao,
• Abstract要約: 本稿では,データ分布の位相に関する新たな視点を紹介し,計算コストを削減したローカルデノイザの構築について考察する。 逆の復調過程は、初期自明な位相と後期データ位相から成り、局所的な復調器が失敗する急激な位相遷移をサンドイッチすることを示す。 この研究は拡散モデルのより単純で効率的なアーキテクチャを示唆している。
• 参考スコア（独自算出の注目度）: 4.8182290061199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As a class of generative artificial intelligence frameworks inspired by statistical physics, diffusion models have shown extraordinary performance in synthesizing complicated data distributions through a denoising process gradually guided by score functions. Real-life data, like images, is often spatially structured in low-dimensional spaces. However, ordinary diffusion models ignore this local structure and learn spatially global score functions, which are often computationally expensive. In this work, we introduce a new perspective on the phases of data distributions, which provides insight into constructing local denoisers with reduced computational costs. We define two distributions as belonging to the same data distribution phase if they can be mutually connected via spatially local operations such as local denoisers. Then, we show that the reverse denoising process consists of an early trivial phase and a late data phase, sandwiching a rapid phase transition where local denoisers must fail. To diagnose such phase transitions, we prove an information-theoretic bound on the fidelity of local denoisers based on conditional mutual information, and conduct numerical experiments in a real-world dataset. This work suggests simpler and more efficient architectures of diffusion models: far from the phase transition point, we can use small local neural networks to compute the score function; global neural networks are only necessary around the narrow time interval of phase transitions. This result also opens up new directions for studying phases of data distributions, the broader science of generative artificial intelligence, and guiding the design of neural networks inspired by physics concepts.
• Abstract（参考訳）: 統計物理学にインスパイアされた生成人工知能フレームワークのクラスとして、拡散モデルは、スコア関数によって徐々にガイドされる認知過程を通じて複雑なデータ分布を合成する際、異常な性能を示した。 実生活データは、画像と同様に、しばしば低次元空間で空間的に構造化される。 しかし、通常の拡散モデルは、この局所構造を無視し、空間的にグローバルなスコア関数を学習する。 本研究では,データ分布の位相に関する新たな視点を導入し,計算コストを削減した局所デノイザの構築について考察する。 そこで我々は,2つの分布を同一データ分散フェーズに属するものと定義する。 そして, 逆復調過程は, 初期自明な相と後期データ相から成り, 局所復調器が故障する急激な相転移を挟み込むことを示した。 このような相転移を診断するために、条件付き相互情報に基づいて局所デノイザの忠実度に情報理論的境界を証明し、実世界のデータセットで数値実験を行う。 この研究は拡散モデルのよりシンプルで効率的なアーキテクチャを示唆している: 相転移点から離れたところでは、スコア関数を計算するために小さな局所ニューラルネットワークを使用することができる; グローバルニューラルネットワークは相転移の狭い時間間隔でのみ必要である。 この結果はまた、データ分散のフェーズ、生成的人工知能の幅広い科学、および物理概念にインスパイアされたニューラルネットワークの設計を導くための新しい方向性を開放する。

関連論文リスト

• Localized Diffusion Models for High Dimensional Distributions Generation [1.677718351174347]
  対象分布における低次元構造をよりよく理解し活用することの重要性について検討する。 局所構造の下では、スコア関数は事実上低次元であり、サンプルの複雑さを著しく低減した局所ニューラルネットワークによって推定できる。 このような局所化が拡散モデルによって次元の呪い(CoD)を回避できることを実証する。
  論文  参考訳（メタデータ） (2025-05-07T13:51:50Z)
• Towards Understanding Text Hallucination of Diffusion Models via Local Generation Bias [76.85949078144098]
  本稿では,拡散モデルが個々のシンボルを正しく生成するが,それらを意味のない方法で組み立てるテキスト幻覚に焦点を当てる。 このような現象は,ネットワークの局所的生成バイアスに起因すると考えられる。 また、ハイパーキューブ上の2層学習パリティポイントを含む特定のケースのトレーニングダイナミクスを理論的に解析する。
  論文  参考訳（メタデータ） (2025-03-05T15:28:50Z)
• Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization [45.72323731094864]
  本稿では,2層ニューラルネットワークを用いた拡散モデル解析のための理論的枠組みを提案する。 我々は,1つの凸プログラムを解くことで,スコア予測のための浅層ニューラルネットワークのトレーニングが可能であることを証明した。 本結果は, ニューラルネットワークに基づく拡散モデルが漸近的でない環境で何を学習するかを, 正確に評価するものである。
  論文  参考訳（メタデータ） (2024-02-03T00:20:25Z)
• Bayesian Flow Networks [4.197165999892042]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。