論文の概要: Homomorphism Counts as Structural Encodings for Graph Learning

• arxiv url: http://arxiv.org/abs/2410.18676v1
• Date: Thu, 24 Oct 2024 12:09:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:49:15.896600
• Title: Homomorphism Counts as Structural Encodings for Graph Learning
• Title（参考訳）: グラフ学習のための構造符号化としての準同型数
• Authors: Linus Bao, Emily Jin, Michael Bronstein, İsmail İlkan Ceylan, Matthias Lanzinger,
• Abstract要約: Graph Transformerは、よく知られたTransformerアーキテクチャをグラフドメインに拡張する、人気のあるニューラルネットワークである。 グラフ準同型をカウントした柔軟で強力な構造的符号化フレームワークとして、$textitmotif Structure encoding$ (MoSE)を提案する。
• 参考スコア（独自算出の注目度）: 7.691872607259055
• License:
• Abstract: Graph Transformers are popular neural networks that extend the well-known Transformer architecture to the graph domain. These architectures operate by applying self-attention on graph nodes and incorporating graph structure through the use of positional encodings (e.g., Laplacian positional encoding) or structural encodings (e.g., random-walk structural encoding). The quality of such encodings is critical, since they provide the necessary $\textit{graph inductive biases}$ to condition the model on graph structure. In this work, we propose $\textit{motif structural encoding}$ (MoSE) as a flexible and powerful structural encoding framework based on counting graph homomorphisms. Theoretically, we compare the expressive power of MoSE to random-walk structural encoding and relate both encodings to the expressive power of standard message passing neural networks. Empirically, we observe that MoSE outperforms other well-known positional and structural encodings across a range of architectures, and it achieves state-of-the-art performance on widely studied molecular property prediction datasets.
• Abstract（参考訳）: Graph Transformerは、よく知られたTransformerアーキテクチャをグラフドメインに拡張する、人気のあるニューラルネットワークである。 これらのアーキテクチャは、グラフノードに自己アテンションを適用し、位置エンコーディング(例:ラプラシア位置エンコーディング)または構造エンコーディング(例:ランダムウォーク構造エンコーディング)を使用してグラフ構造を統合することで機能する。 このようなエンコーディングの品質は、グラフ構造にモデルを条件付けるために必要な$\textit{graph inductive biases}$を提供するため、非常に重要である。 本研究では,グラフ準同型をカウントした柔軟かつ強力な構造的符号化フレームワークとして $\textit{motif structure encoding}$ (MoSE) を提案する。 理論的には、MoSEの表現力とランダムウォーク構造エンコーディングを比較し、両エンコーディングを標準メッセージパッシングニューラルネットワークの表現力に関連付ける。 実証的に、MoSEは、様々なアーキテクチャにおいて、他のよく知られた位置的および構造的エンコーディングよりも優れており、広く研究されている分子特性予測データセット上で、最先端のパフォーマンスを達成する。

関連論文リスト

• Graph Transformers without Positional Encodings [0.7252027234425334]
  グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。 我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-01-31T12:33:31Z)
• Neural Machine Translation with Dynamic Graph Convolutional Decoder [32.462919670070654]
  本稿では,グラフとシーケンス)構造入力から(グラフとシーケンス)出力への変換アーキテクチャを提案する。 我々は5つの広く知られている翻訳ベンチマークで広範な実験を行い、提案手法がベースラインや他の構文認識の変種よりも一貫した改善を実現することを検証した。
  論文  参考訳（メタデータ） (2023-05-28T11:58:07Z)
• SE-GSL: A General and Effective Graph Structure Learning Framework through Structural Entropy Optimization [67.28453445927825]
  グラフニューラルネットワーク(GNN)は、構造的データ学習のデファクトソリューションである。 既存のグラフ構造学習(GSL)フレームワークには、堅牢性と解釈性がない。 本稿では、構造エントロピーと符号化木に抽象化されたグラフ階層を通して、一般的なGSLフレームワークSE-GSLを提案する。
  論文  参考訳（メタデータ） (2023-03-17T05:20:24Z)
• Structure-Aware Transformer for Graph Representation Learning [7.4124458942877105]
  本研究では,トランスフォーマーによって生成されるノード表現と位置符号化が必ずしも類似点を捉えるとは限らないことを示す。 本稿では,新しい自己認識機構上に構築された,単純で柔軟なグラフ変換器のクラスであるStructure-Aware Transformerを提案する。 我々のフレームワークは,既存のGNNを利用してサブグラフ表現を抽出し,ベースとなるGNNモデルに対する性能を体系的に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-07T09:53:39Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Equivariant Subgraph Aggregation Networks [23.26140936226352]
  本稿では,この問題に対処するためのEquivariant Subgraph Aggregation Networks (ESAN) という新しいフレームワークを提案する。 2つのグラフはMPNNでは区別できないかもしれないが、しばしば区別可能な部分グラフを含む。 グラフ同型に対する1次元Weisfeiler-Leman(1-WL)テストの新しい変種を開発し、ESANの表現性に対する下界を証明した。 サブグラフ選択ポリシーや同変ニューラルアーキテクチャといった設計選択がアーキテクチャの表現力にどのように影響するかを記述する理論的結果を提供する。
  論文  参考訳（メタデータ） (2021-10-06T16:45:07Z)
• GraphiT: Encoding Graph Structure in Transformers [37.33808493548781]
  古典的グラフニューラルネットワーク(GNN)を用いて学習した表現を,ノードの特徴と構造的および位置的情報の集合として見ることにより,より優れた表現を実現できることを示す。 我々のモデルであるGraphiTは,グラフ上の正定値カーネルに基づく自己注意スコアにおける相対的な位置符号化戦略と,短距離パスなどの局所的なサブ構造を列挙して符号化することで,そのような情報を符号化する。
  論文  参考訳（メタデータ） (2021-06-10T11:36:22Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
  局所グラフ構造を符号化する線形化モデルの能力を検討する。 本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。 これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
  論文  参考訳（メタデータ） (2020-12-31T18:17:57Z)
• Building powerful and equivariant graph neural networks with structural message-passing [74.93169425144755]
  本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。 まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。 次に,メッセージのパラメトリゼーション手法を提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:15:16Z)
• Improving Graph Neural Network Expressivity via Subgraph Isomorphism Counting [63.04999833264299]
  グラフサブストラクチャネットワーク(GSN)は,サブストラクチャエンコーディングに基づくトポロジ的に認識可能なメッセージパッシング方式である。 Wesfeiler-Leman (WL) グラフ同型テストよりも厳密に表現可能であることを示す。 グラフ分類と回帰タスクについて広範囲に評価を行い、様々な実世界の環境において最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-16T15:30:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。