論文の概要: Dimension-robust Function Space MCMC With Neural Network Priors

• arxiv url: http://arxiv.org/abs/2012.10943v1
• Date: Sun, 20 Dec 2020 14:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 07:51:55.896985
• Title: Dimension-robust Function Space MCMC With Neural Network Priors
• Title（参考訳）: ニューラルネットワークを用いた次元ロバスト関数空間MCMC
• Authors: Torben Sell, Sumeetpal S. Singh
• Abstract要約: 本稿では、関数の領域の次元においてより有利にスケールする関数空間に関する新しい先例を紹介する。 その結果得られた未知関数の後方は、ヒルベルト空間マルコフ連鎖モンテカルロ法を用いてサンプリングできることがわかった。 我々の優先順位は競争的であり、他の関数空間よりも異なる利点があることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces a new prior on functions spaces which scales more favourably in the dimension of the function's domain compared to the usual Karhunen-Lo\'eve function space prior, a property we refer to as dimension-robustness. The proposed prior is a Bayesian neural network prior, where each weight and bias has an independent Gaussian prior, but with the key difference that the variances decrease in the width of the network, such that the variances form a summable sequence and the infinite width limit neural network is well defined. We show that our resulting posterior of the unknown function is amenable to sampling using Hilbert space Markov chain Monte Carlo methods. These sampling methods are favoured because they are stable under mesh-refinement, in the sense that the acceptance probability does not shrink to 0 as more parameters are introduced to better approximate the well-defined infinite limit. We show that our priors are competitive and have distinct advantages over other function space priors. Upon defining a suitable likelihood for continuous value functions in a Bayesian approach to reinforcement learning, our new prior is used in numerical examples to illustrate its performance and dimension-robustness.
• Abstract（参考訳）: 本稿では,関数領域の次元において,通常のKarhunen-Lo\eve関数空間よりも好意的にスケールする関数空間に対する新たな先行性を導入する。 提案手法では,各重みとバイアスがgaussian preを持つベイズ型ニューラルネットワークが先行するが,分散が和数列を形成し無限幅極限ニューラルネットワークをよく定義するように,ネットワーク幅のばらつきが減少するという重要な違いがある。 その結果得られた未知関数の後方は、ヒルベルト空間マルコフ連鎖モンテカルロ法を用いてサンプリングできることがわかった。 これらのサンプリング法は、メッシュリファインメントの下で安定であり、パラメータがより多く導入されるにつれて、受容確率が0に縮まることはないという意味で好まれる。 我々の優先順位は競争的であり、他の関数空間よりも異なる利点があることを示している。 強化学習へのベイズ的アプローチで連続値関数の適度な確率を定義すると、数値例でその性能と次元ロバスト性を示すために新しい前置法が用いられる。

関連論文リスト

• Regularized KL-Divergence for Well-Defined Function-Space Variational Inference in Bayesian neural networks [9.023847175654604]
  後続の不確実性推定は事前の選択に依存しており、重み空間における情報的事前の発見は困難であることが証明されている。 これは、重みではなく、BNNが生成する関数に直接先行する変動推論(VI)手法を動機付けている。 提案手法は, 合成および小型実世界のデータセットに先立って, GPによって規定される特性を組み込んだものである。
  論文  参考訳（メタデータ） (2024-06-06T17:57:49Z)
• Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
  本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。 サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。 パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
  論文  参考訳（メタデータ） (2023-05-30T19:16:44Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Bayesian neural network priors for edge-preserving inversion [3.2046720177804646]
  重み付きニューラルネットワークの出力に基づく事前分布のクラスを導入する。 ネットワーク幅が有限である場合でも,そのような先行する標本は不連続な性質が望ましいことを理論的に示す。
  論文  参考訳（メタデータ） (2021-12-20T16:39:05Z)
• All You Need is a Good Functional Prior for Bayesian Deep Learning [15.10662960548448]
  これはベイジアンディープラーニングの極めて限定的な側面である、と我々は主張する。 本稿では,ニューラルネットワークの先行機能に適合する,新しい,堅牢なフレームワークを提案する。 我々は、これらの先行をスケーラブルなマルコフ連鎖モンテカルロサンプリングと結合させることで、体系的に大きな性能改善をもたらすという膨大な実験的な証拠を提供する。
  論文  参考訳（メタデータ） (2020-11-25T15:36:16Z)
• Understanding Variational Inference in Function-Space [20.940162027560408]
  この設定で、Kullback-Leiblerの発散を利用する際の利点と制限を強調します。 近似品質を直接測定する関数空間推論手法のベンチマークとしてベイズ線形回帰法を提案する。
  論文  参考訳（メタデータ） (2020-11-18T17:42:01Z)
• The Ridgelet Prior: A Covariance Function Approach to Prior Specification for Bayesian Neural Networks [4.307812758854161]
  ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。 これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
  論文  参考訳（メタデータ） (2020-10-16T16:39:45Z)
• Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit [47.324627920761685]
  我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。 これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。 また,従来のNNGPを用いた分類手法の校正について検討した。
  論文  参考訳（メタデータ） (2020-10-14T18:41:54Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。