論文の概要: Analog Bayesian neural networks are insensitive to the shape of the weight distribution

• arxiv url: http://arxiv.org/abs/2501.05564v1
• Date: Thu, 09 Jan 2025 20:19:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:28:03.903989
• Title: Analog Bayesian neural networks are insensitive to the shape of the weight distribution
• Title（参考訳）: アナログベイズニューラルネットワークは重み分布の形状に敏感である
• Authors: Ravi G. Patel, T. Patrick Xiao, Sapan Agarwal, Christopher Bennett,
• Abstract要約: 本稿では,実機ノイズを変動分布として用いたMFVIトレーニング手法を提案する。 実験により, BNNの重み付き予測分布は同一の重み付きであり, 分散は同一の分布に収束することを示した。 この結果は、MFVIを実行するハードウェア実装BNNにおいて、アナログデバイス設計者がデバイスノイズ分布の形状を考慮する必要はないことを示唆している。
• 参考スコア（独自算出の注目度）: 0.11249583407496219
• License:
• Abstract: Recent work has demonstrated that Bayesian neural networks (BNN's) trained with mean field variational inference (MFVI) can be implemented in analog hardware, promising orders of magnitude energy savings compared to the standard digital implementations. However, while Gaussians are typically used as the variational distribution in MFVI, it is difficult to precisely control the shape of the noise distributions produced by sampling analog devices. This paper introduces a method for MFVI training using real device noise as the variational distribution. Furthermore, we demonstrate empirically that the predictive distributions from BNN's with the same weight means and variances converge to the same distribution, regardless of the shape of the variational distribution. This result suggests that analog device designers do not need to consider the shape of the device noise distribution when hardware-implementing BNNs performing MFVI.
• Abstract（参考訳）: 近年の研究では、平均場変動推論(MFVI)を訓練したベイズニューラルネットワーク(BNN)がアナログハードウェアで実装できることが実証されている。 しかし、一般的にはMFVIの変分分布としてガウスが用いられるが、アナログ装置のサンプリングによって生じる雑音分布の形状を正確に制御することは困難である。 本稿では,実機ノイズを変動分布として用いたMFVIトレーニング手法を提案する。 さらに, 変動分布の形状によらず, 同じ重み手段と分散を持つBNNの予測分布が同一分布に収束することを示す。 この結果は、MFVIを実行するハードウェア実装BNNにおいて、アナログデバイス設計者がデバイスノイズ分布の形状を考慮する必要はないことを示唆している。

関連論文リスト

• Calibrating Bayesian Generative Machine Learning for Bayesiamplification [0.0]
  ベイズ生成機械学習モデルのキャリブレーションを定量化するための明確なスキームを示す。 十分に校正された不確実性は、大まかに非相関真理サンプルの数を推定するために用いられる。
  論文  参考訳（メタデータ） (2024-08-01T18:00:05Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
  本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。 提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-14T08:00:49Z)
• Tensorizing flows: a tool for variational inference [0.0]
  本稿では,ガウス参照をテンソルネットワークを介して構築した参照分布に置き換える正規化フローの拡張を提案する。 本研究では, 複雑な変分推論タスクにおいて, フローとテンソルネットワークを組み合わせることで, どちらか一方のツールを使わずに得られる結果を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-05-03T23:42:22Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Kalman Bayesian Neural Networks for Closed-form Online Learning [5.220940151628734]
  閉形式ベイズ推論によるBNN学習のための新しい手法を提案する。 出力の予測分布の計算と重み分布の更新をベイズフィルタおよび平滑化問題として扱う。 これにより、勾配降下のないシーケンシャル/オンライン方式でネットワークパラメータをトレーニングするためのクローズドフォーム表現が可能になる。
  論文  参考訳（メタデータ） (2021-10-03T07:29:57Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• RBM-Flow and D-Flow: Invertible Flows with Discrete Energy Base Spaces [2.686876090354586]
  訓練された逆流を用いて複雑なデータ分布の効率的なサンプリングを実現する(if) 連続スムージングを適用したRBM(Restricted Boltzmann Machine)をベースとするIFモデルであるRBM-Flowを実装します。 D-Flow はガウス基底変数を持つ典型的な IF と同様の確率と FID/IS スコアを得るが、グローバルな特徴が潜在空間における離散ラベルとして有意に符号化されているという利点がある。
  論文  参考訳（メタデータ） (2020-12-24T11:05:27Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。