Fugu-MT 論文翻訳(概要): The premise of approximate MCMC in Bayesian deep learning

論文の概要: The premise of approximate MCMC in Bayesian deep learning

arxiv url: http://arxiv.org/abs/2208.11389v1
Date: Wed, 24 Aug 2022 09:26:12 GMT
ステータス: 処理完了
システム内更新日: 2022-08-25 12:30:03.651185
Title: The premise of approximate MCMC in Bayesian deep learning
Title（参考訳）: ベイズ深層学習における近似MCMCの前提
Authors: Theodore Papamarkou
Abstract要約: ニューラルネットワークの近似サンプリングアルゴリズムを提案する。大規模データセットからデータバッチをサンプリングするのと類似して、高次元のニューラルネットワークパラメータ空間からパラメータサブグループをサンプリングすることを提案する。
参考スコア（独自算出の注目度）: 1.7259824817932292
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper identifies several characteristics of approximate MCMC in Bayesian deep learning. It proposes an approximate sampling algorithm for neural networks. By analogy to sampling data batches from big datasets, it is proposed to sample parameter subgroups from neural network parameter spaces of high dimensions. While the advantages of minibatch MCMC have been discussed in the literature, blocked Gibbs sampling has received less research attention in Bayesian deep learning.
Abstract（参考訳）: 本稿では,ベイズ深層学習における近似MCMCの特性について述べる。ニューラルネットワークに対する近似サンプリングアルゴリズムを提案する。大規模データセットからデータバッチをサンプリングするために,高次元のニューラルネットワークパラメータ空間からパラメータサブグループをサンプリングする手法を提案する。ミニバッチMCMCの利点は文献で論じられているが、ブロックされたギブズサンプリングはベイズディープラーニングにおける研究の関心を減らしている。

関連論文リスト

Function-Space MCMC for Bayesian Wide Neural Networks [9.899763598214124]
本研究では,プレコンディション付きクランク・ニコソン法とそのランゲヴィン法を用いて,重みの分離後分布の標本化を行った。提案手法の受容確率は,ネットワークの幅が大きくなるにつれて1に近づく。
論文参考訳（メタデータ） (2024-08-26T14:54:13Z)
Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。提案手法は, スケーラビリティと精度のバランスをとる。
論文参考訳（メタデータ） (2023-06-16T08:34:42Z)
Provably Convergent Subgraph-wise Sampling for Fast GNN Training [122.68566970275683]
収束保証,すなわちローカルメッセージ補償(LMC)を用いた新しいサブグラフワイズサンプリング手法を提案する。 LMCは、後方パスのメッセージパスの定式化に基づいて、後方パスで破棄されたメッセージを検索する。大規模ベンチマーク実験により、LCCは最先端のサブグラフワイドサンプリング法よりもはるかに高速であることが示された。
論文参考訳（メタデータ） (2023-03-17T05:16:49Z)
GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
論文参考訳（メタデータ） (2022-10-24T03:00:01Z)
Data Subsampling for Bayesian Neural Networks [0.0]
Penalty Bayesian Neural Networks - PBNNは,サブサンプルバッチデータによる可能性の評価を可能にする,新たなアルゴリズムである。 PBNNは,データサイズが小さい場合でも,予測性能が良好であることを示す。
論文参考訳（メタデータ） (2022-10-17T14:43:35Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文参考訳（メタデータ） (2021-03-15T16:16:18Z)
Provable Generalization of SGD-trained Neural Networks of Any Width in the Presence of Adversarial Label Noise [85.59576523297568]
勾配降下法により学習した任意の幅の1層リークReLUネットワークを考察する。 sgdは,分布上の最良半空間に匹敵する分類精度を持つニューラルネットワークを生成できることを実証する。
論文参考訳（メタデータ） (2021-01-04T18:32:49Z)
Salvage Reusable Samples from Noisy Data for Robust Learning [70.48919625304]
本稿では,Web画像を用いた深部FGモデルのトレーニングにおいて,ラベルノイズに対処するための再利用可能なサンプル選択と修正手法を提案する。私たちのキーとなるアイデアは、再利用可能なサンプルの追加と修正を行い、それらをクリーンな例とともに活用してネットワークを更新することです。
論文参考訳（メタデータ） (2020-08-06T02:07:21Z)
Nonconvex regularization for sparse neural networks [0.0]
浅部ReLUネットワークにおける非正規化手法について検討した。ネットワーク近似は、有限データのサイズが維持されていることを保証している。
論文参考訳（メタデータ） (2020-04-24T03:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。