論文の概要: Approximating Langevin Monte Carlo with ResNet-like Neural Network
architectures
- arxiv url: http://arxiv.org/abs/2311.03242v2
- Date: Mon, 22 Jan 2024 13:40:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 20:16:29.858283
- Title: Approximating Langevin Monte Carlo with ResNet-like Neural Network
architectures
- Title（参考訳）: resnetライクなニューラルネットワークアーキテクチャによるlangevin monte carlo近似
- Authors: Charles Miranda, Janina Sch\"utte, David Sommer, Martin Eigel
- Abstract要約: 本稿では,Langevin Monte Carlo (LMC)アルゴリズムにインスパイアされたニューラルネットワークアーキテクチャを提案する。
本稿では,Wasserstein-$2$距離で測定したスムーズな対数凹面対象分布に対する提案アーキテクチャの近似率を示す。
本稿では, 深部ニューラルネットワークに類似したアーキテクチャを提案し, サンプルを対象分布マップに近似するための表現性結果の導出を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We sample from a given target distribution by constructing a neural network
which maps samples from a simple reference, e.g. the standard normal
distribution, to samples from the target. To that end, we propose using a
neural network architecture inspired by the Langevin Monte Carlo (LMC)
algorithm. Based on LMC perturbation results, we show approximation rates of
the proposed architecture for smooth, log-concave target distributions measured
in the Wasserstein-$2$ distance. The analysis heavily relies on the notion of
sub-Gaussianity of the intermediate measures of the perturbed LMC process. In
particular, we derive bounds on the growth of the intermediate variance proxies
under different assumptions on the perturbations. Moreover, we propose an
architecture similar to deep residual neural networks and derive expressivity
results for approximating the sample to target distribution map.
- Abstract（参考訳）: 標準正規分布など,単純な参照からのサンプルを対象のサンプルにマップするニューラルネットワークを構築し,与えられたターゲット分布からサンプルをサンプリングする。
そこで我々は,Langevin Monte Carlo (LMC)アルゴリズムにヒントを得たニューラルネットワークアーキテクチャを提案する。
LMC摂動結果に基づいて,Wasserstein-$2$距離で測定したスムーズな対数凹面対象分布に対する提案アーキテクチャの近似率を示す。
この解析は摂動lmc過程の中間測度の準ゲージ性の概念に大きく依存している。
特に、摂動に関する異なる仮定の下での中間分散プロキシの成長に関する境界を導出する。
さらに, 深部ニューラルネットワークに類似したアーキテクチャを提案し, サンプルを対象分布マップに近似するための表現性結果の導出を行う。
関連論文リスト
- On the Approximation of Bi-Lipschitz Maps by Invertible Neural Networks [3.7072693116122752]
Invertible Neural Network(INN)は、ディープニューラルネットワークアーキテクチャの重要なクラスである。
コンパクト領域上でのバイリプシッツ連続写像を近似するために,結合型 INN のクラスが持つキャパシティを解析する。
我々は、前方と逆写像を同時に近似する無限次元空間上の双Lipschitz写像を近似するアプローチを開発する。
論文 参考訳（メタデータ） (2023-08-18T08:01:45Z) - Learning Networks from Gaussian Graphical Models and Gaussian Free
Fields [2.294014185517203]
本稿では,ネットワーク上のGFFの繰り返し測定から,重み付きネットワーク(ほぼ同種のラプラシアン)の新たな推定法を提案する。
本研究は, 具体的な回収保証と, 必要な試料の複雑さに対する限界を有する推定器の有効性を実証する。
サンプルサイズで成長するネットワークの設定において、Erdos-Renyiランダムグラフに対して、接続しきい値より上の$G(d,p)$に対して、ネットワーク回復が高い確率で行われることを示す。
論文 参考訳（メタデータ） (2023-08-04T14:18:39Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - A Bayesian Take on Gaussian Process Networks [1.7188280334580197]
この研究はモンテカルロ法とマルコフ・チェイン・モンテカルロ法を実装し、ネットワーク構造の後方分布からサンプリングする。
提案手法は,ネットワークのグラフィカルな構造を復元する上で,最先端のアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-20T08:38:31Z) - Learning Distributions by Generative Adversarial Networks: Approximation
and Generalization [0.6768558752130311]
本研究では,これらのモデルの収束速度を解析することにより,有限サンプルから生成逆数ネットワークがいかによく学習するかを考察する。
我々の分析は、GANの推定誤差を判別器とジェネレータの近似誤差に分解する新しい不等式オラクルに基づいている。
生成元近似誤差に対して、ニューラルネットワークは、およそ低次元のソース分布を高次元のターゲット分布に変換することができることを示す。
論文 参考訳（メタデータ） (2022-05-25T09:26:17Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Bayesian Structure Learning with Generative Flow Networks [85.84396514570373]
ベイズ構造学習では、データから有向非巡回グラフ(DAG)上の分布を推定することに興味がある。
近年,ジェネレーティブ・フロー・ネットワーク(GFlowNets)と呼ばれる確率モデルのクラスが,ジェネレーティブ・モデリングの一般的なフレームワークとして紹介されている。
DAG-GFlowNetと呼ばれる本手法は,DAGよりも後方の正確な近似を提供する。
論文 参考訳（メタデータ） (2022-02-28T15:53:10Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - Deep Generative Learning via Schr\"{o}dinger Bridge [14.138796631423954]
エントロピーにより生成モデルをSchr"odinger Bridgeで学習する。
Schr"odinger Bridge による生成モデルは最先端の GAN に匹敵することを示す。
論文 参考訳（メタデータ） (2021-06-19T03:35:42Z) - Self-Learning for Received Signal Strength Map Reconstruction with
Neural Architecture Search [63.39818029362661]
ニューラルアーキテクチャサーチ(NAS)と受信信号強度(RSS)マップ再構築のための自己学習に基づくモデルを提案する。
このアプローチは、まず最適なNNアーキテクチャを見つけ、与えられた(RSS)マップの地上実測値に対して同時に推論モデルを訓練する。
実験結果から,この第2モデルの信号予測は,非学習に基づく最先端技術や,アーキテクチャ探索を伴わないNNモデルよりも優れていた。
論文 参考訳（メタデータ） (2021-05-17T12:19:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。