論文の概要: Belief Propagation Neural Networks

• arxiv url: http://arxiv.org/abs/2007.00295v1
• Date: Wed, 1 Jul 2020 07:39:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 22:09:54.494455
• Title: Belief Propagation Neural Networks
• Title（参考訳）: 信念伝達ニューラルネットワーク
• Authors: Jonathan Kuck, Shuvam Chakraborty, Hao Tang, Rachel Luo, Jiaming Song, Ashish Sabharwal, Stefano Ermon
• Abstract要約: 信念伝播ニューラルネットワーク(BPNN)を紹介する。 BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。 挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
• 参考スコア（独自算出の注目度）: 103.97004780313105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learned neural solvers have successfully been used to solve combinatorial optimization and decision problems. More general counting variants of these problems, however, are still largely solved with hand-crafted solvers. To bridge this gap, we introduce belief propagation neural networks (BPNNs), a class of parameterized operators that operate on factor graphs and generalize Belief Propagation (BP). In its strictest form, a BPNN layer (BPNN-D) is a learned iterative operator that provably maintains many of the desirable properties of BP for any choice of the parameters. Empirically, we show that by training BPNN-D learns to perform the task better than the original BP: it converges 1.7x faster on Ising models while providing tighter bounds. On challenging model counting problems, BPNNs compute estimates 100's of times faster than state-of-the-art handcrafted methods, while returning an estimate of comparable quality.
• Abstract（参考訳）: 学習されたニューラルソルバは、組合せ最適化と決定問題の解決に成功している。 しかし、これらの問題のより一般的な計数型は、まだ手作りの解法でほとんど解決されている。 このギャップを埋めるため,我々は,因子グラフ上で動作し,信念伝播(bp)を一般化するパラメータ化演算子のクラスである,信念伝達ニューラルネットワーク(bpnns)を導入する。 最も厳密な形式では、BPNN層(BPNN-D)は、パラメータの選択に対してBPの望ましい特性の多くを確実に維持する学習反復作用素である。 実験により,BPNN-D のトレーニングにより,従来の BP の1.7 倍の高速化を実現し,より厳密なバウンダリを提供する。 挑戦的なモデルカウント問題では、BPNNは最先端の手作り手法の100倍の速さで推定し、同等の品質の見積を返す。

関連論文リスト

• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Deep Attentive Belief Propagation: Integrating Reasoning and Learning for Solving Constraint Optimization Problems [24.63675651321079]
  BP(Breief Propagation)は、グラフィカルモデル上の様々な推論タスクのための重要なメッセージパッシングアルゴリズムである。 本研究では, DABP をスムーズなソリューションコストで自己教師付き学習する手法を提案する。 我々のモデルは最先端のベースラインを大きく上回る。
  論文  参考訳（メタデータ） (2022-09-24T13:03:46Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Nonlocal optimization of binary neural networks [0.8379286663107844]
  本稿では,因子グラフ上の離散変数推論問題として,バイナリニューラルネットワーク(BNN)の学習について検討する。 本稿では,現在の定式化の難しさを克服するアルゴリズムを提案する。 BNNの従来の勾配法と比較すると,BPとSPはBNNのパラメータのより優れた構成を求める。
  論文  参考訳（メタデータ） (2022-04-05T02:14:53Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks [40.51949948934705]
  予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。 BPは現代の機械学習において最も成功した学習方法と考えられている。 生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T14:57:01Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。