論文の概要: Gibbs Sampling the Posterior of Neural Networks

• arxiv url: http://arxiv.org/abs/2306.02729v1
• Date: Mon, 5 Jun 2023 09:26:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 16:01:40.766663
• Title: Gibbs Sampling the Posterior of Neural Networks
• Title（参考訳）: ニューラルネットワークの後部をサンプリングするギブズ
• Authors: Giovanni Piccioli, Emanuele Troiani and Lenka Zdeborov\'a
• Abstract要約: ニューラルネットワークから派生した後部からのサンプリングについて検討する。 ネットワーク内での事前および後活動毎にノイズを付加する新しい確率モデルを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study sampling from a posterior derived from a neural network. We propose a new probabilistic model consisting of adding noise at every pre- and post-activation in the network, arguing that the resulting posterior can be sampled using an efficient Gibbs sampler. The Gibbs sampler attains similar performances as the state-of-the-art Monte Carlo Markov chain methods, such as the Hamiltonian Monte Carlo or the Metropolis adjusted Langevin algorithm, both on real and synthetic data. By framing our analysis in the teacher-student setting, we introduce a thermalization criterion that allows us to detect when an algorithm, when run on data with synthetic labels, fails to sample from the posterior. The criterion is based on the fact that in the teacher-student setting we can initialize an algorithm directly at equilibrium.
• Abstract（参考訳）: 本稿では,ニューラルネットワークから得られた後頭部からのサンプリングについて検討する。 そこで本研究では,ネットワークの動作前後にノイズを付加し,効率的なgibbsサンプリング器を用いて後頭部をサンプリングできる新しい確率モデルを提案する。 ギブスサンプリング器は、ハミルトニアンのモンテカルロやメトロポリスの調整されたランゲヴィンアルゴリズムのような最先端のモンテカルロマルコフ連鎖法と同様に、実データと合成データの両方で同様の性能が得られる。 教師の学習環境において解析をフレーミングすることにより,アルゴリズムが合成ラベルを用いたデータを実行した場合,後頭部からサンプルを採取できないことを検出できる熱化基準を導入する。 この基準は、教師-学生設定でアルゴリズムを直接平衡で初期化できるという事実に基づいている。

関連論文リスト

• Expressive probabilistic sampling in recurrent neural networks [4.3900330990701235]
  本稿では, 任意の確率分布から, 出力単位を分離した再帰型ニューラルネットワークの発火速度のダイナミクスをサンプリングできることを示す。 本稿では, RSNがLangevinサンプリングを実装しているような繰り返しおよび出力重みを求める, スコアマッチングに基づく効率的なトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-22T22:20:39Z)
• A Bayesian Take on Gaussian Process Networks [1.7188280334580197]
  この研究はモンテカルロ法とマルコフ・チェイン・モンテカルロ法を実装し、ネットワーク構造の後方分布からサンプリングする。 提案手法は,ネットワークのグラフィカルな構造を復元する上で,最先端のアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-20T08:38:31Z)
• Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
  本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。 サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。 パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
  論文  参考訳（メタデータ） (2023-05-30T19:16:44Z)
• elhmc: An R Package for Hamiltonian Monte Carlo Sampling in Bayesian Empirical Likelihood [0.0]
  ハミルトニアン・カルロ法による経験的可能性ベース後部からのサンプルパッケージについて述べる。 MCMCサンプルは、パラメータのBayesEL後部から引き出され、ユーザによって様々な詳細が要求される。
  論文  参考訳（メタデータ） (2022-09-02T22:22:16Z)
• Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
  Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。 提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-22T17:58:23Z)
• Bayesian Structure Learning with Generative Flow Networks [85.84396514570373]
  ベイズ構造学習では、データから有向非巡回グラフ(DAG)上の分布を推定することに興味がある。 近年,ジェネレーティブ・フロー・ネットワーク(GFlowNets)と呼ばれる確率モデルのクラスが,ジェネレーティブ・モデリングの一般的なフレームワークとして紹介されている。 DAG-GFlowNetと呼ばれる本手法は,DAGよりも後方の正確な近似を提供する。
  論文  参考訳（メタデータ） (2022-02-28T15:53:10Z)
• Adaptive Reordering Sampler with Neurally Guided MAGSAC [63.139445467355934]
  そこで我々は, 常に不整数のみを構成する確率が最も高い試料を選定する頑健な推定器のための新しいサンプリング器を提案する。 反復が失敗すると、イリヤ確率はベイズ的アプローチによって原則的に更新される。 幾何的に妥当な方法で、あらゆる種類の特徴に対して推定できる配向とスケールを利用する新しい損失を導入する。
  論文  参考訳（メタデータ） (2021-11-28T10:16:38Z)
• A fast asynchronous MCMC sampler for sparse Bayesian inference [10.535140830570256]
  本稿では,非常に高速なマルコフ・チェイン・モンテカルロ(MCMC)サンプリングフレームワークを提案する。 本研究では, 高次元線形回帰問題において, 提案アルゴリズムで生成したマルコフ連鎖は, 主信号の正確な復元を行う不変分布を持つことを示す。
  論文  参考訳（メタデータ） (2021-08-14T02:20:49Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning [134.77207192945053]
  従来の手法は強化学習アプローチを用いてニューラルシンボリックモデルを学ぶ。 我々は,脳神経知覚と記号的推論を橋渡しする前に,textbfgrammarモデルをテキストシンボリックとして導入する。 本稿では,トップダウンのヒューマンライクな学習手順を模倣して誤りを伝播する新しいtextbfback-searchアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:42:49Z)
• OCmst: One-class Novelty Detection using Convolutional Neural Network and Minimum Spanning Trees [0.9569316316728905]
  畳み込みニューラルネットワーク(CNN)を深部特徴抽出器とし,最小スパンニング木(MST)に基づくグラフベースモデルを用いた新規性検出問題に対する1クラス最小スパンニング木(OCmst)と呼ばれる新しいモデルを提案する。 新規検出シナリオでは、トレーニングデータは、外れ値(異常なクラス)によって汚染されず、テストインスタンスが正常なクラスに属しているか、または異常なクラスに属しているかを認識することが目的である。
  論文  参考訳（メタデータ） (2020-03-30T14:55:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。