論文の概要: Locality-Aware Graph-Rewiring in GNNs

• arxiv url: http://arxiv.org/abs/2310.01668v2
• Date: Sat, 4 May 2024 14:53:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 00:45:15.136373
• Title: Locality-Aware Graph-Rewiring in GNNs
• Title（参考訳）: GNNにおける局所性を考慮したグラフ検索
• Authors: Federico Barbero, Ameya Velingker, Amin Saberi, Michael Bronstein, Francesco Di Giovanni,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ上の機械学習の一般的なモデルである。 本研究では,グラフ検索のための3つのデシラタを同定する: (i) オーバー・スクアッシングを減らし, (ii) グラフの局所性を尊重し, (iii) グラフの空間性を保存する。 i)iii のすべてを満たす新しいリウィリングフレームワークを,局所性を考慮したリウィリング操作のシーケンスを通じて提案する。
• 参考スコア（独自算出の注目度）: 5.356465360780597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) are popular models for machine learning on graphs that typically follow the message-passing paradigm, whereby the feature of a node is updated recursively upon aggregating information over its neighbors. While exchanging messages over the input graph endows GNNs with a strong inductive bias, it can also make GNNs susceptible to over-squashing, thereby preventing them from capturing long-range interactions in the given graph. To rectify this issue, graph rewiring techniques have been proposed as a means of improving information flow by altering the graph connectivity. In this work, we identify three desiderata for graph-rewiring: (i) reduce over-squashing, (ii) respect the locality of the graph, and (iii) preserve the sparsity of the graph. We highlight fundamental trade-offs that occur between spatial and spectral rewiring techniques; while the former often satisfy (i) and (ii) but not (iii), the latter generally satisfy (i) and (iii) at the expense of (ii). We propose a novel rewiring framework that satisfies all of (i)--(iii) through a locality-aware sequence of rewiring operations. We then discuss a specific instance of such rewiring framework and validate its effectiveness on several real-world benchmarks, showing that it either matches or significantly outperforms existing rewiring approaches.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、一般的にメッセージパスパラダイムに従うグラフ上での機械学習の一般的なモデルである。 入力グラフ上でメッセージを交換することで、GNNに強い帰納バイアスを与える一方で、GNNを過度な監視を受けやすくすることで、与えられたグラフ内での長距離インタラクションのキャプチャを防止することができる。 この問題を是正するために,グラフ接続を変更することで情報フローを改善する手段として,グラフリウィリング手法が提案されている。 本研究では,グラフ検索のための3つのデシラタを同定する。 (i)過洗を減じる。 (ii)グラフの局所性を尊重し、 (iii)グラフの空間性を保存する。 空間的およびスペクトル的リウィリング技術の間に生じる基本的なトレードオフを強調し、前者はしばしば満足する。 (i)および (ii)しかしそうではない (三)一般的には後者が満足する (i)および (三)犠牲にして (II)。 我々は,これらすべてを満たす新しいスイッチングフレームワークを提案する。 (i)-- (iii) 再接続操作の局所性を認識したシーケンスを通じて。 次に、そのようなリワイアフレームワークの特定の事例について議論し、実世界のいくつかのベンチマークでその有効性を検証し、既存のリワイアアプローチにマッチするか、大幅に上回っていることを示す。

関連論文リスト

• Rewiring Techniques to Mitigate Oversquashing and Oversmoothing in GNNs: A Survey [0.0]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データから学習するための強力なツールだが,その有効性は2つの重要な課題によって制約されることが多い。 オーバーキャッシング(Oversquashing) – 遠いノードからの情報の過剰な圧縮が大きな情報損失と過度なスムース化をもたらし、繰り返しメッセージパッシングの繰り返しがノード表現を均質化し、意味のある区別を隠蔽する。 本研究では,グラフトポロジを改良して情報拡散を高めることで,これらの構造的ボトルネックに対処する手法であるグラフリウィリング手法について検討する。
  論文  参考訳（メタデータ） (2024-11-26T13:38:12Z)
• Greener GRASS: Enhancing GNNs with Encoding, Rewiring, and Attention [12.409982249220812]
  本稿では,新しいGNNアーキテクチャであるGraph Attention with Structures (GRASS)を紹介する。 GRASSはランダムな正規グラフを重畳して入力グラフをリワイヤし、長距離情報伝搬を実現する。 また、グラフ構造化データに適した新しい付加的注意機構も採用している。
  論文  参考訳（メタデータ） (2024-07-08T06:21:56Z)
• Graph Transformer GANs with Graph Masked Modeling for Architectural Layout Generation [153.92387500677023]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。 また,グラフ表現学習のための自己指導型事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:36:38Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造データに適したニューラルモデルであり、グラフ構造データの学習表現において優れた性能を示している。 本稿では,分散GNN訓練における通信複雑性について検討する。 グラフ変換プロセスの未知によりエッジ配置を制御できない動的グラフの場合,新しいパーティションパラダイムは特に理想的であることを示す。
  論文  参考訳（メタデータ） (2022-12-11T04:54:01Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• DiffWire: Inductive Graph Rewiring via the Lov\'asz Bound [1.0323063834827415]
  グラフニューラルネットワーク(GNN)は、グラフ関連タスクに対処するための競合的な結果を達成することが示されている。 MPNNは、過密、過密、過密に悩まされていると報告されている。 DiffWireは、MPNNでグラフを書き換える新しいフレームワークであり、原則的で、完全に微分可能で、パラメータフリーである。
  論文  参考訳（メタデータ） (2022-06-15T08:22:07Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Graph Highway Networks [77.38665506495553]
  グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。 彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。 本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-09T16:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。