論文の概要: Deep Attentive Belief Propagation: Integrating Reasoning and Learning
for Solving Constraint Optimization Problems
- arxiv url: http://arxiv.org/abs/2209.12000v1
- Date: Sat, 24 Sep 2022 13:03:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 14:38:36.008322
- Title: Deep Attentive Belief Propagation: Integrating Reasoning and Learning
for Solving Constraint Optimization Problems
- Title(参考訳): 深い注意的信念伝播:制約最適化問題を解決するための推論と学習の統合
- Authors: Yanchen Deng, Shufeng Kong, Caihua Liu, Bo An
- Abstract要約: BP(Breief Propagation)は、グラフィカルモデル上の様々な推論タスクのための重要なメッセージパッシングアルゴリズムである。
本研究では, DABP をスムーズなソリューションコストで自己教師付き学習する手法を提案する。
我々のモデルは最先端のベースラインを大きく上回る。
- 参考スコア(独自算出の注目度): 24.63675651321079
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Belief Propagation (BP) is an important message-passing algorithm for various
reasoning tasks over graphical models, including solving the Constraint
Optimization Problems (COPs). It has been shown that BP can achieve
state-of-the-art performance on various benchmarks by mixing old and new
messages before sending the new one, i.e., damping. However, existing methods
of tuning a static damping factor for BP not only are laborious but also harm
their performance. Moreover, existing BP algorithms treat each variable node's
neighbors equally when composing a new message, which also limits their
exploration ability. To address these issues, we seamlessly integrate BP, Gated
Recurrent Units (GRUs), and Graph Attention Networks (GATs) within the
message-passing framework to reason about dynamic weights and damping factors
for composing new BP messages. Our model, Deep Attentive Belief Propagation
(DABP), takes the factor graph and the BP messages in each iteration as the
input and infers the optimal weights and damping factors through GRUs and GATs,
followed by a multi-head attention layer. Furthermore, unlike existing
neural-based BP variants, we propose a novel self-supervised learning algorithm
for DABP with a smoothed solution cost, which does not require expensive
training labels and also avoids the common out-of-distribution issue through
efficient online learning. Extensive experiments show that our model
significantly outperforms state-of-the-art baselines.
- Abstract(参考訳): BP(Breief Propagation)は、制約最適化問題(COP)の解決を含む、グラフィカルモデル上の様々な推論タスクのための重要なメッセージパッシングアルゴリズムである。
BPは、新しいメッセージ、すなわち減衰を送る前に、古いメッセージと新しいメッセージを混ぜることで、様々なベンチマークで最先端のパフォーマンスを達成できることが示されている。
しかしながら、bpの静的減衰係数をチューニングする既存の方法は、手間がかかるだけでなく、その性能を損なう。
さらに、既存のBPアルゴリズムは、新しいメッセージを構成する際に各変数ノードの隣人を等しく扱い、探索能力も制限する。
これらの問題に対処するため、BP, Gated Recurrent Units (GRUs) および Graph Attention Networks (GATs) をメッセージパスフレームワークにシームレスに統合し、動的な重み付けと新しいBPメッセージを構成するための減衰要因を推論する。
我々のモデルであるDABP(Deep Attentive Belief Propagation)は、各イテレーションにおける因子グラフとBPメッセージを入力とし、GRUおよびGATを通して最適な重みと減衰率を推定し、次いでマルチヘッドアテンション層を用いる。
さらに,既存のニューラルネットワーク型bpと異なり,効率的なオンライン学習による分散問題を回避するために,費用のかかるラベルを必要とせず,平滑化した解コストでdabpの自己教師付き学習アルゴリズムを提案する。
大規模な実験により,我々のモデルは最先端のベースラインを著しく上回ることがわかった。
関連論文リスト
- Entropy-Regularized Token-Level Policy Optimization for Large Language
Models [76.02428537504323]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
その結果,ETPO は CodeLlama-7B モデルで有効な性能向上を実現し,RLHF から受け継いだ変種 PPO ベースラインを超越していることがわかった。
論文 参考訳(メタデータ) (2024-02-09T07:45:26Z) - Belief Propagation Decoding of Quantum LDPC Codes with Guided Decimation [54.30748817277323]
BP Guided decimation (BPGD) を用いたQLDPC符号の復号化を提案する。
BPGDは非収束性によるBP障害を著しく減少させる。
誤差収束の確率は低く、BP-OSDやBP-SIと同等の性能を発揮する。
論文 参考訳(メタデータ) (2023-12-18T05:58:07Z) - Base Placement Optimization for Coverage Mobile Manipulation Tasks [6.217860411034386]
本稿では,基本配置最適化問題を多目的最適化問題(MOOP)として定式化する。
本稿では,BPOを多目的最適化問題(MOOP)として定式化する。
実験により、最適化されたBPはタスクのカバレッジと効率を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2023-04-17T13:04:44Z) - Communication-Efficient Robust Federated Learning with Noisy Labels [144.31995882209932]
フェデレーテッド・ラーニング(FL)は、分散した位置データの上で、将来性のあるプライバシ保護機械学習パラダイムである。
FLにおける雑音ラベルの効果を緩和する学習に基づく再重み付け手法を提案する。
提案手法は,複数の実世界のデータセットにおいて,各種ベースラインと比較して優れた性能を示した。
論文 参考訳(メタデータ) (2022-06-11T16:21:17Z) - BP-Net: Cuff-less, Calibration-free, and Non-invasive Blood Pressure
Estimation via a Generic Deep Convolutional Architecture [16.36324484557899]
本稿では,連続的および計算不要な血圧(BP)モニタリングのための堅牢で高精度な処理ソリューションの開発に焦点をあてる。
提案するフレームワークは、より効率的なメモリを提供する新しい畳み込みアーキテクチャである。
提案したBP-Netアーキテクチャは、正準リカレントネットワークよりも正確であり、BP推定タスクの長期ロバスト性を高める。
論文 参考訳(メタデータ) (2021-12-31T02:34:39Z) - Predictive Coding Can Do Exact Backpropagation on Convolutional and
Recurrent Neural Networks [40.51949948934705]
予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。
BPは現代の機械学習において最も成功した学習方法と考えられている。
生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
論文 参考訳(メタデータ) (2021-03-05T14:57:01Z) - Belief Propagation Neural Networks [103.97004780313105]
信念伝播ニューラルネットワーク(BPNN)を紹介する。
BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する
BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。
挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
論文 参考訳(メタデータ) (2020-07-01T07:39:51Z) - A Theoretical Framework for Target Propagation [75.52598682467817]
我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。
提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。
我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
論文 参考訳(メタデータ) (2020-06-25T12:07:06Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。