論文の概要: Preventing Representational Rank Collapse in MPNNs by Splitting the Computational Graph

• arxiv url: http://arxiv.org/abs/2409.11504v1
• Date: Tue, 17 Sep 2024 19:16:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 19:59:44.567274
• Title: Preventing Representational Rank Collapse in MPNNs by Splitting the Computational Graph
• Title（参考訳）: 計算グラフ分割によるMPNNの表現ランク崩壊防止
• Authors: Andreas Roth, Franka Bause, Nils M. Kriege, Thomas Liebig,
• Abstract要約: 複数の有向非巡回グラフ上での操作が常に我々の条件を満たすことを示し、ノードの厳密な部分順序付けを定義することによってそれらを得る提案をする。 我々は、より情報的なノード表現を実現するために、マルチリレーショナルグラフ上での操作の利点を確認する包括的な実験を行う。
• 参考スコア（独自算出の注目度）: 9.498398257062641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability of message-passing neural networks (MPNNs) to fit complex functions over graphs is limited each iteration of message-passing over a simple makes representations more similar, a phenomenon known as rank collapse, and over-smoothing as a special case. Most approaches to mitigate over-smoothing extend common message-passing schemes, e.g., the graph convolutional network, by utilizing residual connections, gating mechanisms, normalization, or regularization techniques. Our work contrarily proposes to directly tackle the cause of this issue by modifying the message-passing scheme and exchanging different types of messages using multi-relational graphs. We identify the necessary and sufficient condition to ensure linearly independent node representations. As one instantion, we show that operating on multiple directed acyclic graphs always satisfies our condition and propose to obtain these by defining a strict partial ordering of the nodes. We conduct comprehensive experiments that confirm the benefits of operating on multi-relational graphs to achieve more informative node representations.
• Abstract（参考訳）: グラフ上の複雑な関数に適合するメッセージパッシングニューラルネットワーク(MPNN)の能力は、単純なメッセージパッシングの反復ごとに制限され、より類似している。 オーバースムース化を緩和するためのほとんどのアプローチは、残留接続、ゲーティング機構、正規化、正規化技術を利用することで、グラフ畳み込みネットワークのような共通のメッセージパッシングスキームを拡張している。 本研究は,マルチリレーショナルグラフを用いてメッセージパス方式を変更し,異なるタイプのメッセージを交換することで,この問題の原因を直接解決することを提案する。 線形独立ノード表現を保証するために必要かつ十分な条件を同定する。 1つの瞬間として、多重有向非巡回グラフ上での操作が常に我々の条件を満たすことを示し、ノードの厳密な部分順序付けを定義することによってそれらを取得することを提案する。 我々は、より情報的なノード表現を実現するために、マルチリレーショナルグラフ上での操作の利点を確認する包括的な実験を行う。

関連論文リスト

• Task-Oriented Communication for Graph Data: A Graph Information Bottleneck Approach [12.451324619122405]
  本稿では,コミュニケーションのオーバーヘッドを低減しつつ,鍵情報を保持するタスク中心のより小さなサブグラフを抽出する手法を提案する。 提案手法では,グラフニューラルネットワーク(GNN)とグラフ情報ボトルネック(GIB)の原理を用いて,伝達に適したコンパクトで情報的,堅牢なグラフ表現を生成する。
  論文  参考訳（メタデータ） (2024-09-04T14:01:56Z)
• TouchUp-G: Improving Feature Representation through Graph-Centric Finetuning [37.318961625795204]
  グラフニューラルネットワーク(GNN)は、多くのハイインパクトな実世界のグラフアプリケーションにおいて最先端のアプローチとなっている。 機能豊富なグラフでは、PMを直接利用して機能を生成するのが一般的である。 PMから抽出されたノード特徴がグラフに依存しず、GNNがグラフ構造とノード特徴の間の潜在的な相関を十分に活用できないため、このプラクティスは準最適である。
  論文  参考訳（メタデータ） (2023-09-25T05:44:40Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
  本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。 Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T07:27:18Z)
• Multi-view Graph Convolutional Networks with Differentiable Node Selection [29.575611350389444]
  差別化可能なノード選択(MGCN-DNS)を備えた多視点グラフ畳み込みネットワーク(Multi-view Graph Convolutional Network)を提案する。 MGCN-DNSは、マルチチャネルグラフ構造データを入力として受け入れ、微分可能なニューラルネットワークを通じてより堅牢なグラフ融合を学ぶことを目的としている。 提案手法の有効性は,最先端手法と厳密な比較により検証した。
  論文  参考訳（メタデータ） (2022-12-09T21:48:36Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Affinity-Aware Graph Networks [9.888383815189176]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを学ぶための強力なテクニックとして登場した。 グラフニューラルネットワークの特徴としてアフィニティ尺度の利用について検討する。 本稿では,これらの特徴に基づくメッセージパッシングネットワークを提案し,その性能を様々なノードおよびグラフ特性予測タスクで評価する。
  論文  参考訳（メタデータ） (2022-06-23T18:51:35Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Graph Ordering Attention Networks [22.468776559433614]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに関わる多くの問題でうまく使われている。 近隣ノード間のインタラクションをキャプチャする新しいGNNコンポーネントであるグラフ順序付け注意層(GOAT)を導入する。 GOATレイヤは、複雑な情報をキャプチャするグラフメトリクスのモデリングにおけるパフォーマンスの向上を示す。
  論文  参考訳（メタデータ） (2022-04-11T18:13:19Z)
• Simple Graph Convolutional Networks [72.92604941595019]
  単一層グラフ畳み込みネットワークで実装可能な単純なグラフ畳み込み演算子を提案する。 我々の畳み込み演算子は、文献における多くの提案よりも理論的に基礎を置いており、検討されたベンチマークデータセットに最先端の予測性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:23:59Z)
• A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
  本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。 AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。 本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-22T07:05:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。