Fugu-MT 論文翻訳(概要): Nonlocal optimization of binary neural networks

論文の概要: Nonlocal optimization of binary neural networks

arxiv url: http://arxiv.org/abs/2204.01935v1
Date: Tue, 5 Apr 2022 02:14:53 GMT
ステータス: 処理完了
システム内更新日: 2022-04-06 22:30:57.202590
Title: Nonlocal optimization of binary neural networks
Title（参考訳）: バイナリニューラルネットワークの非局所最適化
Authors: Amir Khoshaman, Giuseppe Castiglione, Christopher Srinivasa
Abstract要約: 本稿では,因子グラフ上の離散変数推論問題として,バイナリニューラルネットワーク(BNN)の学習について検討する。本稿では,現在の定式化の難しさを克服するアルゴリズムを提案する。 BNNの従来の勾配法と比較すると,BPとSPはBNNのパラメータのより優れた構成を求める。
参考スコア（独自算出の注目度）: 0.8379286663107844
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We explore training Binary Neural Networks (BNNs) as a discrete variable inference problem over a factor graph. We study the behaviour of this conversion in an under-parameterized BNN setting and propose stochastic versions of Belief Propagation (BP) and Survey Propagation (SP) message passing algorithms to overcome the intractability of their current formulation. Compared to traditional gradient methods for BNNs, our results indicate that both stochastic BP and SP find better configurations of the parameters in the BNN.
Abstract（参考訳）: 我々は,因子グラフ上の離散変数推論問題として,バイナリニューラルネットワーク(bnns)を訓練する。我々は,この変換の振る舞いをパラメータ下BNN設定で検討し,現在の定式化の難易度を克服するために,Belief Propagation(BP)およびSurvey Propagation(SP)メッセージパッシングアルゴリズムの確率バージョンを提案する。従来のBNNの勾配法と比較すると, 確率BPとSPはともにBNNのパラメータのより優れた構成を求めることが示唆された。

関連論文リスト

ZOBNN: Zero-Overhead Dependable Design of Binary Neural Networks with Deliberately Quantized Parameters [0.0]
本稿では,低精度ニューラルネットワークの3番目の利点として,耐故障性の改善について紹介する。本稿では,メモリ障害がBNN(State-of-the-art binary neural network)に与える影響を包括的解析により検討する。本稿では,新しい均一量子化手法により,フロートパラメータの範囲を制限することにより,BNNの信頼性を向上させる手法を提案する。
論文参考訳（メタデータ） (2024-07-06T05:31:11Z)
A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties [0.31457219084519006]
異種性失語症とてんかんのばらつきを学習したBNNパラメータのばらつきに埋め込むことができることを示す。軽量BNNに適したサンプリング不要な変分推論のための比較的単純なフレームワークを提案する。
論文参考訳（メタデータ） (2024-02-22T13:24:43Z)
BNN-DP: Robustness Certification of Bayesian Neural Networks via Dynamic Programming [8.162867143465382]
ベイジアンニューラルネットワークの対向ロバスト性解析のための効率的なフレームワークであるBNN-DPを紹介する。 BNN-DPは, 境界の厳密性と計算効率の両面において, 最先端の手法を最大4桁上回る性能を示した。
論文参考訳（メタデータ） (2023-06-19T07:19:15Z)
Tackling covariate shift with node-based Bayesian neural networks [26.64657196802115]
ノードベースのBNNは、各隠れノードに潜在確率変数を乗じ、重みの点推定を学習することで不確実性を誘導する。本稿では、これらの潜伏雑音変数を、訓練中の単純およびドメインに依存しないデータ摂動の暗黙的表現として解釈する。
論文参考訳（メタデータ） (2022-06-06T08:56:19Z)
Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文参考訳（メタデータ） (2021-12-12T17:13:14Z)
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文参考訳（メタデータ） (2021-03-15T16:16:18Z)
Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文参考訳（メタデータ） (2020-12-04T19:50:09Z)
Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文参考訳（メタデータ） (2020-08-19T12:35:55Z)
Belief Propagation Neural Networks [103.97004780313105]
信念伝播ニューラルネットワーク(BPNN)を紹介する。 BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
論文参考訳（メタデータ） (2020-07-01T07:39:51Z)
Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
論文参考訳（メタデータ） (2020-06-07T07:06:35Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。