論文の概要: Sampling with flows, diffusion and autoregressive neural networks: A
spin-glass perspective
- arxiv url: http://arxiv.org/abs/2308.14085v1
- Date: Sun, 27 Aug 2023 12:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 16:54:46.956401
- Title: Sampling with flows, diffusion and autoregressive neural networks: A
spin-glass perspective
- Title（参考訳）: 流れ・拡散・自己回帰型ニューラルネットワークによるサンプリング:スピングラスの視点から
- Authors: Davide Ghio, Yatin Dandi, Florent Krzakala and Lenka Zdeborov\'a
- Abstract要約: 障害系の統計物理学において広く研究されている確率分布のクラスに焦点をあてる。
我々は,フローベース,拡散ベース,自己回帰的ネットワーク手法によるサンプリングをベイズ最適分解法の解析に等価にマッピングできるという事実を活用する。
これらの手法が効率的にサンプリングできないパラメータの領域を同定し、標準モンテカルロ法やランゲヴィン法を用いてそれを可能にする。
- 参考スコア（独自算出の注目度）: 18.278073129757466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years witnessed the development of powerful generative models based on
flows, diffusion or autoregressive neural networks, achieving remarkable
success in generating data from examples with applications in a broad range of
areas. A theoretical analysis of the performance and understanding of the
limitations of these methods remain, however, challenging. In this paper, we
undertake a step in this direction by analysing the efficiency of sampling by
these methods on a class of problems with a known probability distribution and
comparing it with the sampling performance of more traditional methods such as
the Monte Carlo Markov chain and Langevin dynamics. We focus on a class of
probability distribution widely studied in the statistical physics of
disordered systems that relate to spin glasses, statistical inference and
constraint satisfaction problems.
We leverage the fact that sampling via flow-based, diffusion-based or
autoregressive networks methods can be equivalently mapped to the analysis of a
Bayes optimal denoising of a modified probability measure. Our findings
demonstrate that these methods encounter difficulties in sampling stemming from
the presence of a first-order phase transition along the algorithm's denoising
path. Our conclusions go both ways: we identify regions of parameters where
these methods are unable to sample efficiently, while that is possible using
standard Monte Carlo or Langevin approaches. We also identify regions where the
opposite happens: standard approaches are inefficient while the discussed
generative methods work well.
- Abstract（参考訳）: 近年では、フロー、拡散、あるいは自己回帰型ニューラルネットワークに基づく強力な生成モデルが開発され、幅広い分野の応用例からデータを生成することに顕著な成功を収めている。
しかし、これらの手法の性能と限界の理解に関する理論的分析は依然として困難である。
本稿では,モンテカルロマルコフ連鎖やランゲヴィン力学といった従来手法のサンプリング性能と比較し,これらの手法によるサンプリング効率を既知の確率分布のクラスで解析することにより,この方向への一歩を踏み出した。
本稿では, スピングラス, 統計的推測, 制約満足度問題に関連する不規則系の統計物理学において, 広く研究されている確率分布のクラスに着目した。
我々は,フローベース,拡散ベース,自己回帰的ネットワーク手法によるサンプリングをベイズ最適分解法の解析に等価にマッピングできるという事実を活用する。
提案手法は,アルゴリズムの発声経路に沿って一階の位相遷移が存在することに起因するサンプリングが困難であることを示す。
これらの手法が効率的にサンプリングできないパラメータの領域を同定し、標準モンテカルロ法やランゲヴィン法を用いてそれを可能にする。
標準アプローチは非効率ですが、議論された生成メソッドはうまく機能します。
関連論文リスト
- Deep Gaussian Covariance Network with Trajectory Sampling for Data-Efficient Policy Search [0.0]
確率的世界モデルはモデルベース強化学習(MBRL)のデータ効率を向上させる
我々は,MBRL問題に対するデータ効率のよい解として,軌道サンプリングと深いガウス共分散ネットワーク(DGCN)を組み合わせることを提案する。
本研究では,4つのよく知られた実験環境を用いて,不確実性伝播法と確率モデルの組み合わせによるサンプル効率を向上する実験的なエビデンスを提案する。
論文 参考訳（メタデータ） (2024-03-23T18:42:22Z) - Improved off-policy training of diffusion samplers [93.66433483772055]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳（メタデータ） (2024-02-07T18:51:49Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。
複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。
提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
論文 参考訳（メタデータ） (2023-10-10T14:06:56Z) - Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。
本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。
本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
論文 参考訳（メタデータ） (2023-10-06T06:29:06Z) - Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳（メタデータ） (2023-10-04T09:39:05Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Efficient Multimodal Sampling via Tempered Distribution Flow [11.36635610546803]
我々はTemperFlowと呼ばれる新しいタイプのトランスポートベースサンプリング手法を開発した。
種々の実験により, 従来の手法と比較して, 新規サンプリング器の優れた性能が示された。
画像生成などの最新のディープラーニングタスクに応用例を示す。
論文 参考訳（メタデータ） (2023-04-08T06:40:06Z) - Deblurring via Stochastic Refinement [85.42730934561101]
条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。
提案手法は,PSNRなどの歪み指標の点で競合する。
論文 参考訳（メタデータ） (2021-12-05T04:36:09Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳（メタデータ） (2020-11-08T17:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。