論文の概要: Generative diffusion for perceptron problems: statistical physics analysis and efficient algorithms
- arxiv url: http://arxiv.org/abs/2502.16292v2
- Date: Mon, 26 May 2025 15:14:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 19:27:26.719016
- Title: Generative diffusion for perceptron problems: statistical physics analysis and efficient algorithms
- Title（参考訳）: パーセプトロン問題に対する生成拡散--統計物理解析と効率的なアルゴリズム
- Authors: Elizaveta Demyanenko, Davide Straziota, Carlo Baldassi, Carlo Lucibello,
- Abstract要約: 高次元極限における非数値重み付きパーセプトロン問題のランダムな例を考察する。
我々は、生成アルゴリズムを用いて近似サンプリング空間を予測するためのレプリカ理論に基づくフォーマリズムを開発する。
- 参考スコア（独自算出の注目度）: 2.860608352191896
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider random instances of non-convex perceptron problems in the high-dimensional limit of a large number of examples $M$ and weights $N$, with finite load $\alpha = M/N$. We develop a formalism based on replica theory to predict the fundamental limits of efficiently sampling the solution space using generative diffusion algorithms, conjectured to be saturated when the score function is provided by Approximate Message Passing. For the spherical perceptron with negative margin $\kappa$, we find that the uniform distribution over solutions can be efficiently sampled in most of the Replica Symmetric region of the $\alpha-\kappa$ plane. In contrast, for binary weights, sampling from the uniform distribution remains intractable. A theoretical analysis of this obstruction leads us to identify a potential $U(s) = -\log(s)$, under which the corresponding tilted distribution becomes efficiently samplable via diffusion. Moreover, we show numerically that an annealing procedure over the shape of this potential yields a fast and robust Markov Chain Monte Carlo algorithm for sampling the solution space of the binary perceptron.
- Abstract（参考訳）: 多数の例の高次元極限における非凸パーセプトロン問題のランダムな例をM$と重み$N$とし、有限負荷$\alpha = M/N$とする。
生成拡散アルゴリズムを用いて解空間を効率的にサンプリングする基本的な限界を予測し、近似メッセージパッシングによってスコア関数が提供されるときに飽和すると予測する。
負のマージン$\kappa$を持つ球面パーセプトロンに対して、解上の均一分布は、$\alpha-\kappa$平面のReplica対称性領域のほとんどで効率的にサンプリングできることが分かる。
対照的に、二重項の場合、一様分布からのサンプリングは難解である。
この障害の理論的解析により、ポテンシャル$U(s) = -\log(s)$を特定できる。
さらに、このポテンシャルの形状上のアニール法が二元パーセプトロンの解空間をサンプリングする高速でロバストなマルコフ・チェイン・モンテカルロアルゴリズムをもたらすことを数値的に示す。
関連論文リスト
- From Denoising Score Matching to Langevin Sampling: A Fine-Grained Error Analysis in the Gaussian Setting [25.21429354164613]
本稿では,Langevin 拡散サンプリング装置を用いて,単純だが代表的な設定でサンプリング過程を解析する。
We show that the Wasserstein sample error can be expressed as a kernel-type norm of the data power spectrum。
論文 参考訳（メタデータ） (2025-03-14T17:35:00Z) - Information-Theoretic Proofs for Diffusion Sampling [13.095978794717007]
本稿では, 拡散法に基づくジェネレーティブ・モデリング手法の基本的, 自己完結型分析法を提案する。
拡散ステップサイズが十分に小さい場合、サンプリング分布はターゲット分布に確実に近いことを示す。
また,各ステップに追加のランダム性を導入して,比較過程における高次モーメントに一致させることにより,収束を促進させる方法についての透過的なビューを提供する。
論文 参考訳（メタデータ） (2025-02-04T13:19:21Z) - Solving High-dimensional Inverse Problems Using Amortized Likelihood-free Inference with Noisy and Incomplete Data [43.43717668587333]
本研究では,高次元逆問題に対する正規化フローに基づく確率論的逆転法を提案する。
提案手法は,データ圧縮のための要約ネットワークとパラメータ推定のための推論ネットワークの2つの補完ネットワークで構成されている。
提案手法を地下水水文学における逆問題に適用し,空間的に疎らな時系列観測に基づく対流電界の後方分布を推定する。
論文 参考訳（メタデータ） (2024-12-05T19:13:17Z) - Harmonic Path Integral Diffusion [0.4527270266697462]
本稿では,連続多変量確率分布から抽出する新しい手法を提案する。
本手法では,状態空間の起点を中心とするデルタ関数を$t=0$とし,ターゲット分布に$t=1$で変換する。
これらのアルゴリズムは他のサンプリング手法、特にシミュレートおよびパス積分サンプリングと対比し、解析制御、精度、計算効率の点でそれらの利点を強調した。
論文 参考訳（メタデータ） (2024-09-23T16:20:21Z) - Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。
非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
論文 参考訳（メタデータ） (2024-08-20T19:06:02Z) - Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
逆問題の解法として, 後方分布からのサンプルの変分推論手法を提案する。
本手法はユークリッド空間の標準信号や多様体上の信号に適用可能であることを示す。
論文 参考訳（メタデータ） (2024-07-25T09:53:12Z) - Solving Linear Inverse Problems Provably via Posterior Sampling with
Latent Diffusion Models [98.95988351420334]
本稿では,事前学習した潜在拡散モデルを利用した線形逆問題の解法を初めて提案する。
線形モデル設定において,証明可能なサンプル回復を示すアルゴリズムを理論的に解析する。
論文 参考訳（メタデータ） (2023-07-02T17:21:30Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳（メタデータ） (2023-05-07T23:00:47Z) - Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic
Analysis For DDIM-Type Samplers [90.45898746733397]
本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。
確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
論文 参考訳（メタデータ） (2023-03-06T18:59:19Z) - Inverse Models for Estimating the Initial Condition of Spatio-Temporal
Advection-Diffusion Processes [5.814371485767541]
逆問題とは、観測データを用いて物理過程の未知のパラメータについて推論することである。
本稿では,空間的に疎いデータストリームを用いた時空間対流拡散過程の初期状態の推定について検討する。
論文 参考訳（メタデータ） (2023-02-08T15:30:16Z) - SNIPS: Solving Noisy Inverse Problems Stochastically [25.567566997688044]
本稿では,線形逆問題の後部分布からサンプルを抽出するSNIPSアルゴリズムを提案する。
我々の解はランゲヴィン力学とニュートン法からのアイデアを取り入れ、事前訓練された最小二乗誤差(MMSE)を利用する。
得られたサンプルは、与えられた測定値と鋭く、詳細で一致しており、それらの多様性は、解決される逆問題に固有の不確実性を明らかにする。
論文 参考訳（メタデータ） (2021-05-31T13:33:21Z) - Spatially Adaptive Inference with Stochastic Feature Sampling and
Interpolation [72.40827239394565]
スパースサンプリングされた場所のみの機能を計算することを提案する。
次に、効率的な手順で特徴写像を密に再構築する。
提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
論文 参考訳（メタデータ） (2020-03-19T15:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。