論文の概要: Probabilistically Rewired Message-Passing Neural Networks
- arxiv url: http://arxiv.org/abs/2310.02156v3
- Date: Sun, 15 Oct 2023 17:56:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 22:46:27.342531
- Title: Probabilistically Rewired Message-Passing Neural Networks
- Title(参考訳): 確率的再接続型メッセージパッシングニューラルネットワーク
- Authors: Chendi Qian, Andrei Manolache, Kareem Ahmed, Zhe Zeng, Guy Van den
Broeck, Mathias Niepert, Christopher Morris
- Abstract要約: メッセージパッシンググラフニューラルネットワーク(MPNN)は、グラフ構造化入力を処理する強力なツールとして登場した。
MPNNは、潜在的なノイズや欠落した情報を無視して、固定された入力グラフ構造で動作する。
確率的に再構成されたMPNN(PR-MPNN)を考案し、より有益なものを省略しながら、関連するエッジを追加することを学習する。
- 参考スコア(独自算出の注目度): 43.638280289905026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Message-passing graph neural networks (MPNNs) emerged as powerful tools for
processing graph-structured input. However, they operate on a fixed input graph
structure, ignoring potential noise and missing information. Furthermore, their
local aggregation mechanism can lead to problems such as over-squashing and
limited expressive power in capturing relevant graph structures. Existing
solutions to these challenges have primarily relied on heuristic methods, often
disregarding the underlying data distribution. Hence, devising principled
approaches for learning to infer graph structures relevant to the given
prediction task remains an open challenge. In this work, leveraging recent
progress in exact and differentiable $k$-subset sampling, we devise
probabilistically rewired MPNNs (PR-MPNNs), which learn to add relevant edges
while omitting less beneficial ones. For the first time, our theoretical
analysis explores how PR-MPNNs enhance expressive power, and we identify
precise conditions under which they outperform purely randomized approaches.
Empirically, we demonstrate that our approach effectively mitigates issues like
over-squashing and under-reaching. In addition, on established real-world
datasets, our method exhibits competitive or superior predictive performance
compared to traditional MPNN models and recent graph transformer architectures.
- Abstract(参考訳): メッセージパッシンググラフニューラルネットワーク(MPNN)は、グラフ構造化入力を処理する強力なツールとして登場した。
しかし、それらは固定された入力グラフ構造で動作し、潜在的なノイズや情報不足を無視している。
さらに、それらの局所的な集約機構は、関連するグラフ構造を捕捉する際の過剰散乱や限定表現力などの問題を引き起こす可能性がある。
これらの課題に対する既存の解決策は主にヒューリスティックな手法に依存しており、基礎となるデータ分布を無視していることが多い。
したがって、与えられた予測タスクに関連するグラフ構造を推論する学習の原則的なアプローチを考案することは、未解決の課題である。
本研究では, 精度が高く, かつ異なる$k$-subsetサンプリングの最近の進歩を活用して, 確率論的に再構成されたMPNN(PR-MPNN)を考案する。
我々は,PR-MPNNが表現力を高める方法について初めて理論的解析を行い,それらが純粋にランダム化されたアプローチより優れている条件を同定した。
実証的に、我々のアプローチは、過剰な監視やアンダーリーチングといった問題を効果的に軽減します。
さらに,従来のMPNNモデルや最近のグラフトランスフォーマーアーキテクチャと比較して,既存の実世界のデータセットに対して,競合的あるいは優れた予測性能を示す。
関連論文リスト
- Chasing Fairness in Graphs: A GNN Architecture Perspective [73.43111851492593]
グラフニューラルネットワーク(GNN)の統一最適化フレームワーク内で設計されたtextsfFair textsfMessage textsfPassing(FMP)を提案する。
FMPでは、アグリゲーションがまず隣人の情報を活用するために採用され、バイアス軽減ステップにより、人口集団ノードのプレゼンテーションセンタが明示的に統合される。
ノード分類タスクの実験により、提案されたFMPは、実世界の3つのデータセットの公平性と正確性の観点から、いくつかのベースラインを上回っていることが示された。
論文 参考訳(メタデータ) (2023-12-19T18:00:15Z) - Interpretable Fine-Tuning for Graph Neural Network Surrogate Models [0.0]
本研究は,グラフニューラルネットワーク(GNN)の解釈可能な微調整戦略を導入する。
最終結果は、予測タスクに本質的に関連付けられている部分グラフに対応する物理空間内の領域を分離する強化された微調整モデルである。
正規化手順により、微調整されたGNNを使用して、予測予測エラーの大多数に対応するグラフノードを推論時に特定することもできる。
論文 参考訳(メタデータ) (2023-11-13T18:37:07Z) - MixupExplainer: Generalizing Explanations for Graph Neural Networks with
Data Augmentation [6.307753856507624]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習する能力によって、注目を集めている。
GNN予測を理解するために、ポストホックなインスタンスレベルの説明法が提案されている。
我々は,既存手法における分布シフト問題の存在に光を当て,説明の質に影響を及ぼす。
論文 参考訳(メタデータ) (2023-07-15T15:46:38Z) - DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。
GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。
また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
論文 参考訳(メタデータ) (2023-05-22T10:29:52Z) - Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。
グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。
実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。
ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。
分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
論文 参考訳(メタデータ) (2021-10-20T14:23:54Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳(メタデータ) (2021-07-07T16:59:14Z) - Scaling Up Graph Neural Networks Via Graph Coarsening [18.176326897605225]
グラフニューラルネットワーク(GNN)のスケーラビリティは、マシンラーニングにおける大きな課題のひとつだ。
本稿では,GNNのスケーラブルなトレーニングにグラフ粗大化を用いることを提案する。
既成の粗大化法を単純に適用すれば,分類精度を著しく低下させることなく,ノード数を最大10倍に削減できることを示す。
論文 参考訳(メタデータ) (2021-06-09T15:46:17Z) - Towards an Efficient and General Framework of Robust Training for Graph
Neural Networks [96.93500886136532]
グラフニューラルネットワーク(GNN)は、いくつかの基本的な推論タスクに大きく進歩している。
GNNの目覚ましい性能にもかかわらず、グラフ構造上の摂動を慎重に作り、誤った予測を下すことが観察されている。
我々は,強靭なGNNを得るために,欲求探索アルゴリズムとゼロ階法を利用する汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-25T15:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。