論文の概要: Approximate blocked Gibbs sampling for Bayesian neural networks

• arxiv url: http://arxiv.org/abs/2208.11389v3
• Date: Mon, 24 Jul 2023 15:28:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 01:01:15.718573
• Title: Approximate blocked Gibbs sampling for Bayesian neural networks
• Title（参考訳）: ベイズニューラルネットワークにおける近似ブロックギブスサンプリング
• Authors: Theodore Papamarkou
• Abstract要約: 本研究では、ブロックされたギブスサンプリングスキームを用いてパラメータのサブグループをサンプリングすることを提案する。 また、より深い層における提案のばらつきを減らして、奥行きを増すために、消滅する受け入れ率を軽減することもできる。 オープンな問題は、拡張データの存在下でフィードフォワードニューラルネットワークのミニバッチMCMCサンプリングを実行する方法である。
• 参考スコア（独自算出の注目度）: 1.7259824817932292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, minibatch MCMC sampling for feedforward neural networks is made more feasible. To this end, it is proposed to sample subgroups of parameters via a blocked Gibbs sampling scheme. By partitioning the parameter space, sampling is possible irrespective of layer width. It is also possible to alleviate vanishing acceptance rates for increasing depth by reducing the proposal variance in deeper layers. Increasing the length of a non-convergent chain increases the predictive accuracy in classification tasks, so avoiding vanishing acceptance rates and consequently enabling longer chain runs have practical benefits. Moreover, non-convergent chain realizations aid in the quantification of predictive uncertainty. An open problem is how to perform minibatch MCMC sampling for feedforward neural networks in the presence of augmented data.
• Abstract（参考訳）: 本研究では,フィードフォワードニューラルネットワークにおけるMCMCサンプリングの最小化を実現する。 この目的のために,ブロッキングギブスサンプリング方式を用いてパラメータのサブグループをサンプリングする手法を提案する。 パラメータ空間を分割することにより、層幅に関係なくサンプリングが可能である。 また、より深い層における提案のばらつきを減らし、深みを増すために消滅する受け入れ率を軽減することもできる。 非コンバージェントチェーンの長さを増加させることで、分類タスクの予測精度が向上するので、受け入れ率の消失を回避し、長い連鎖実行を可能にすることは実用的な利点となる。 さらに、非収束連鎖実現は予測の不確かさの定量化を支援する。 オープンな問題は、拡張データの存在下でフィードフォワードニューラルネットワークのミニバッチMCMCサンプリングを実行する方法である。

関連論文リスト

• Function-Space MCMC for Bayesian Wide Neural Networks [9.899763598214124]
  本研究では,プレコンディション付きクランク・ニコソン法とそのランゲヴィン法を用いて,重みの分離後分布の標本化を行った。 提案手法の受容確率は,ネットワークの幅が大きくなるにつれて1に近づく。
  論文  参考訳（メタデータ） (2024-08-26T14:54:13Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Provably Convergent Subgraph-wise Sampling for Fast GNN Training [122.68566970275683]
  収束保証,すなわちローカルメッセージ補償(LMC)を用いた新しいサブグラフワイズサンプリング手法を提案する。 LMCは、後方パスのメッセージパスの定式化に基づいて、後方パスで破棄されたメッセージを検索する。 大規模ベンチマーク実験により、LCCは最先端のサブグラフワイドサンプリング法よりもはるかに高速であることが示された。
  論文  参考訳（メタデータ） (2023-03-17T05:16:49Z)
• GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
  モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。 最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
  論文  参考訳（メタデータ） (2022-10-24T03:00:01Z)
• Data Subsampling for Bayesian Neural Networks [0.0]
  Penalty Bayesian Neural Networks - PBNNは,サブサンプルバッチデータによる可能性の評価を可能にする,新たなアルゴリズムである。 PBNNは,データサイズが小さい場合でも,予測性能が良好であることを示す。
  論文  参考訳（メタデータ） (2022-10-17T14:43:35Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Provable Generalization of SGD-trained Neural Networks of Any Width in the Presence of Adversarial Label Noise [85.59576523297568]
  勾配降下法により学習した任意の幅の1層リークReLUネットワークを考察する。 sgdは,分布上の最良半空間に匹敵する分類精度を持つニューラルネットワークを生成できることを実証する。
  論文  参考訳（メタデータ） (2021-01-04T18:32:49Z)
• Salvage Reusable Samples from Noisy Data for Robust Learning [70.48919625304]
  本稿では,Web画像を用いた深部FGモデルのトレーニングにおいて,ラベルノイズに対処するための再利用可能なサンプル選択と修正手法を提案する。 私たちのキーとなるアイデアは、再利用可能なサンプルの追加と修正を行い、それらをクリーンな例とともに活用してネットワークを更新することです。
  論文  参考訳（メタデータ） (2020-08-06T02:07:21Z)
• Nonconvex regularization for sparse neural networks [0.0]
  浅部ReLUネットワークにおける非正規化手法について検討した。 ネットワーク近似は、有限データのサイズが維持されていることを保証している。
  論文  参考訳（メタデータ） (2020-04-24T03:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。