論文の概要: Neuralizing Efficient Higher-order Belief Propagation

• arxiv url: http://arxiv.org/abs/2010.09283v1
• Date: Mon, 19 Oct 2020 07:51:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 20:45:29.432611
• Title: Neuralizing Efficient Higher-order Belief Propagation
• Title（参考訳）: ニューラル化効率の高い高次信念伝播
• Authors: Mohammed Haroon Dupty, Wee Sun Lee
• Abstract要約: より優れたノードとグラフ表現を学習するためのアプローチを組み合わせることを提案する。 我々は高次PGMに対する効率的な近似積ループ的信念伝搬推定アルゴリズムを導出する。 我々のモデルは実際に高次情報をキャプチャし、分子データセットにおける最先端の$k$のグラフニューラルネットワークよりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 19.436520792345064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural network models have been extensively used to learn node representations for graph structured data in an end-to-end setting. These models often rely on localized first order approximations of spectral graph convolutions and hence are unable to capture higher-order relational information between nodes. Probabilistic Graphical Models form another class of models that provide rich flexibility in incorporating such relational information but are limited by inefficient approximate inference algorithms at higher order. In this paper, we propose to combine these approaches to learn better node and graph representations. First, we derive an efficient approximate sum-product loopy belief propagation inference algorithm for higher-order PGMs. We then embed the message passing updates into a neural network to provide the inductive bias of the inference algorithm in end-to-end learning. This gives us a model that is flexible enough to accommodate domain knowledge while maintaining the computational advantage. We further propose methods for constructing higher-order factors that are conditioned on node and edge features and share parameters wherever necessary. Our experimental evaluation shows that our model indeed captures higher-order information, substantially outperforming state-of-the-art $k$-order graph neural networks in molecular datasets.
• Abstract（参考訳）: グラフニューラルネットワークモデルは、エンドツーエンドの設定でグラフ構造化データのノード表現を学ぶために広く使われている。 これらのモデルは、しばしばスペクトルグラフ畳み込みの局所的な一階近似に依存するため、ノード間の高階関係情報を取得できない。 確率的グラフィカルモデルは、そのような関係情報を組み込む際の柔軟な柔軟性を提供する別のモデルのクラスを形成するが、より高次の非効率的な近似推論アルゴリズムによって制限される。 本稿では,これらの手法を組み合わせて,より優れたノードとグラフ表現を学習することを提案する。 まず、高次PGMに対する効率的な近似積ループ的信念伝搬推定アルゴリズムを導出する。 次に、メッセージパッシング更新をニューラルネットワークに埋め込み、エンドツーエンド学習における推論アルゴリズムの帰納的バイアスを提供する。 これにより、計算上の優位性を維持しながらドメイン知識を満たすのに十分な柔軟性を持つモデルが得られます。 さらに,ノードやエッジに条件付された高次因子を構築し,必要ならばパラメータを共有する手法を提案する。 実験結果から,本モデルが高次情報を取り込んでおり,分子データセットにおけるk$-orderグラフニューラルネットワークの性能を実質的に上回っていることが示された。

関連論文リスト

• Sparse Decomposition of Graph Neural Networks [20.768412002413843]
  本稿では,集約中に含まれるノード数を削減する手法を提案する。 線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。 提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-25T17:52:16Z)
• Factor Graph Neural Networks [20.211455592922736]
  グラフニューラルネットワーク(GNN)は、多くの現実世界のアプリケーションで大きな成功を収めながら、エンドツーエンドで強力な表現を学習することができる。 推論と学習の高次関係を効果的に捉えるためにFGNN(Facter Graph Neural Networks)を提案する。
  論文  参考訳（メタデータ） (2023-08-02T00:32:02Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Neural-prior stochastic block model [0.0]
  我々は,コミュニティを,逆ではなくノード属性によって決定されるものとしてモデル化することを提案する。 本稿では,信念伝播と近似メッセージパッシングを組み合わせた統計物理に基づくアルゴリズムを提案する。 提案したモデルとアルゴリズムは理論とアルゴリズムのベンチマークとして利用できる。
  論文  参考訳（メタデータ） (2023-03-17T14:14:54Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Learning to Learn Graph Topologies [27.782971146122218]
  ノードデータからグラフ構造へのマッピングを学習する(L2O)。 このモデルは、ノードデータとグラフサンプルのペアを使ってエンドツーエンドでトレーニングされる。 合成データと実世界のデータの両方の実験により、我々のモデルは、特定のトポロジ特性を持つグラフを学習する際の古典的反復アルゴリズムよりも効率的であることが示された。
  論文  参考訳（メタデータ） (2021-10-19T08:42:38Z)
• A Unifying Generative Model for Graph Learning Algorithms: Label Propagation, Graph Convolutions, and Combinations [39.8498896531672]
  グラフに関する半教師付き学習は、ネットワーク科学と機械学習において広く適用可能な問題である。 我々は,ノード属性のデータ生成プロセスのためのマルコフ確率場モデルを開発した。 ラベル伝播,線形化グラフ畳み込みネットワーク,それらの組み合わせが条件付き期待値として導出できることを示す。
  論文  参考訳（メタデータ） (2021-01-19T17:07:08Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Block-Approximated Exponential Random Graphs [77.4792558024487]
  指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。 本稿では,非自明なERGに対する近似フレームワークを提案する。 我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
  論文  参考訳（メタデータ） (2020-02-14T11:42:16Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。