論文の概要: Deep Attentive Belief Propagation: Integrating Reasoning and Learning
for Solving Constraint Optimization Problems
- arxiv url: http://arxiv.org/abs/2209.12000v1
- Date: Sat, 24 Sep 2022 13:03:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 14:38:36.008322
- Title: Deep Attentive Belief Propagation: Integrating Reasoning and Learning
for Solving Constraint Optimization Problems
- Title（参考訳）: 深い注意的信念伝播:制約最適化問題を解決するための推論と学習の統合
- Authors: Yanchen Deng, Shufeng Kong, Caihua Liu, Bo An
- Abstract要約: BP(Breief Propagation)は、グラフィカルモデル上の様々な推論タスクのための重要なメッセージパッシングアルゴリズムである。
本研究では, DABP をスムーズなソリューションコストで自己教師付き学習する手法を提案する。
我々のモデルは最先端のベースラインを大きく上回る。
- 参考スコア（独自算出の注目度）: 24.63675651321079
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Belief Propagation (BP) is an important message-passing algorithm for various
reasoning tasks over graphical models, including solving the Constraint
Optimization Problems (COPs). It has been shown that BP can achieve
state-of-the-art performance on various benchmarks by mixing old and new
messages before sending the new one, i.e., damping. However, existing methods
of tuning a static damping factor for BP not only are laborious but also harm
their performance. Moreover, existing BP algorithms treat each variable node's
neighbors equally when composing a new message, which also limits their
exploration ability. To address these issues, we seamlessly integrate BP, Gated
Recurrent Units (GRUs), and Graph Attention Networks (GATs) within the
message-passing framework to reason about dynamic weights and damping factors
for composing new BP messages. Our model, Deep Attentive Belief Propagation
(DABP), takes the factor graph and the BP messages in each iteration as the
input and infers the optimal weights and damping factors through GRUs and GATs,
followed by a multi-head attention layer. Furthermore, unlike existing
neural-based BP variants, we propose a novel self-supervised learning algorithm
for DABP with a smoothed solution cost, which does not require expensive
training labels and also avoids the common out-of-distribution issue through
efficient online learning. Extensive experiments show that our model
significantly outperforms state-of-the-art baselines.
- Abstract（参考訳）: BP(Breief Propagation)は、制約最適化問題(COP)の解決を含む、グラフィカルモデル上の様々な推論タスクのための重要なメッセージパッシングアルゴリズムである。
BPは、新しいメッセージ、すなわち減衰を送る前に、古いメッセージと新しいメッセージを混ぜることで、様々なベンチマークで最先端のパフォーマンスを達成できることが示されている。
しかしながら、bpの静的減衰係数をチューニングする既存の方法は、手間がかかるだけでなく、その性能を損なう。
さらに、既存のBPアルゴリズムは、新しいメッセージを構成する際に各変数ノードの隣人を等しく扱い、探索能力も制限する。
これらの問題に対処するため、BP, Gated Recurrent Units (GRUs) および Graph Attention Networks (GATs) をメッセージパスフレームワークにシームレスに統合し、動的な重み付けと新しいBPメッセージを構成するための減衰要因を推論する。
我々のモデルであるDABP(Deep Attentive Belief Propagation)は、各イテレーションにおける因子グラフとBPメッセージを入力とし、GRUおよびGATを通して最適な重みと減衰率を推定し、次いでマルチヘッドアテンション層を用いる。
さらに,既存のニューラルネットワーク型bpと異なり,効率的なオンライン学習による分散問題を回避するために,費用のかかるラベルを必要とせず,平滑化した解コストでdabpの自己教師付き学習アルゴリズムを提案する。
大規模な実験により,我々のモデルは最先端のベースラインを著しく上回ることがわかった。
関連論文リスト
- Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。
本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。
提案手法はローカルBPとBPフリー設定の両方に統合できる。
論文 参考訳（メタデータ） (2024-06-07T19:10:31Z) - DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。
BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。
半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文 参考訳（メタデータ） (2024-06-04T07:24:51Z) - A Review of Barren Plateaus in Variational Quantum Computing [0.32360458646569984]
変分量子コンピューティングは、様々な分野で応用される柔軟な計算パラダイムを提供する。
それらのポテンシャルを実現するための重要な障害はバレンプラトー現象(BP)である。
本稿では,BP現象の現在の理解について概観する。
論文 参考訳（メタデータ） (2024-05-01T18:00:10Z) - Graph Neural Networks for Binary Programming [8.356266644802604]
本稿では,グラフニューラルネットワーク(GNN)とバイナリプログラミング(BP)の関連について検討する。
BP問題の感度を解析することにより、BP問題の解をヘテロ親和性ノード分類タスクとしてフレーム化することができる。
次に,BPGNN(Binary-Programming GNN)を提案する。BPGNNは,グラフ表現学習技術とBP認識機能を統合し,BP解を効率的に近似するアーキテクチャである。
論文 参考訳（メタデータ） (2024-04-07T08:38:35Z) - Belief Propagation Decoding of Quantum LDPC Codes with Guided Decimation [55.8930142490617]
BPガイドデシミテーション(BPGD)に基づくQLDPC符号のデコーダを提案する。
BPGDは非収束によるBP故障率を著しく低下させる。
論文 参考訳（メタデータ） (2023-12-18T05:58:07Z) - Predictive Coding Can Do Exact Backpropagation on Convolutional and
Recurrent Neural Networks [40.51949948934705]
予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。
BPは現代の機械学習において最も成功した学習方法と考えられている。
生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
論文 参考訳（メタデータ） (2021-03-05T14:57:01Z) - Belief Propagation Neural Networks [103.97004780313105]
信念伝播ニューラルネットワーク(BPNN)を紹介する。
BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する
BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。
挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
論文 参考訳（メタデータ） (2020-07-01T07:39:51Z) - A Theoretical Framework for Target Propagation [75.52598682467817]
我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。
提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。
我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
論文 参考訳（メタデータ） (2020-06-25T12:07:06Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。