論文の概要: A Graph is Worth $K$ Words: Euclideanizing Graph using Pure Transformer

• arxiv url: http://arxiv.org/abs/2402.02464v2
• Date: Tue, 19 Mar 2024 05:27:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 23:21:52.466624
• Title: A Graph is Worth $K$ Words: Euclideanizing Graph using Pure Transformer
• Title（参考訳）: A Graph is Worth $K$ Words: Euclideanizing Graph using Pure Transformer
• Authors: Zhangyang Gao, Daize Dong, Cheng Tan, Jun Xia, Bozhen Hu, Stan Z. Li,
• Abstract要約: 我々は、非ユークリッドグラフをユークリッド空間で学習可能なグラフ語に変換するGraph2Seqエンコーダを特徴とするGraphsGPTを紹介する。 GraphGPTデコーダは、元のグラフをグラフ語から再構成し、情報等価性を保証する。
• 参考スコア（独自算出の注目度）: 47.25114679486907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can we model non-Euclidean graphs as pure language or even Euclidean vectors while retaining their inherent information? The non-Euclidean property have posed a long term challenge in graph modeling. Despite recent GNN and Graphformer efforts encoding graphs as Euclidean vectors, recovering original graph from the vectors remains a challenge. We introduce GraphsGPT, featuring a Graph2Seq encoder that transforms non-Euclidean graphs into learnable graph words in a Euclidean space, along with a GraphGPT decoder that reconstructs the original graph from graph words to ensure information equivalence. We pretrain GraphsGPT on 100M molecules and yield some interesting findings: (1) Pretrained Graph2Seq excels in graph representation learning, achieving state-of-the-art results on 8/9 graph classification and regression tasks. (2) Pretrained GraphGPT serves as a strong graph generator, demonstrated by its ability to perform both unconditional and conditional graph generation. (3) Graph2Seq+GraphGPT enables effective graph mixup in the Euclidean space, overcoming previously known non-Euclidean challenge. (4) Our proposed novel edge-centric GPT pretraining task is effective in graph fields, underscoring its success in both representation and generation.
• Abstract（参考訳）: 非ユークリッドグラフを純粋言語やユークリッドベクトルとしてモデル化することは可能か。 非ユークリッド的性質はグラフモデリングにおいて長期にわたる課題を提起している。 グラフをユークリッドベクトルとして符号化する最近のGNNとグラフフォーマーの取り組みにもかかわらず、元のグラフをベクトルから復元することは依然として困難である。 本稿では,非ユークリッドグラフをユークリッド空間で学習可能なグラフ語に変換するGraph2Seqエンコーダと,元のグラフをグラフ語から再構成して情報等価性を確保するGraphGPTデコーダを紹介する。 1)グラフ表現学習に優れ、8/9のグラフ分類と回帰タスクにおける最先端の結果を達成する。 2) 事前訓練グラフGPTは,非条件グラフ生成と条件グラフ生成の両方を実行する能力によって,強力なグラフ生成器として機能する。 (3) Graph2Seq+GraphGPT はユークリッド空間におけるグラフの効果的な混合を可能にし、既知の非ユークリッド問題に打ち勝つ。 (4) 提案したエッジ中心のGPT事前学習タスクはグラフフィールドにおいて有効であり,表現と生成の両面での成功を裏付けるものである。

関連論文リスト

• Theoretical Insights into Line Graph Transformation on Graph Learning [3.0574700762497744]
  線グラフ変換はグラフ理論において広く研究されており、線グラフの各ノードは元のグラフのエッジに対応する。 これは、変換された線グラフに適用された一連のグラフニューラルネットワーク(GNN)にインスピレーションを与え、様々なグラフ表現学習タスクに有効であることが証明された。 本研究では,Weisfeiler-Leman (WL) テストに挑戦することが知られている2種類のグラフ,Cai-F"urer-Immerman (CFI) グラフと強い正則グラフに着目した。
  論文  参考訳（メタデータ） (2024-10-21T16:04:50Z)
• Graphons of Line Graphs [6.822247359790484]
  スパースグラフのサブセットに光を放つ簡単な方法を示す。 グラフが特定の性質を満たすことを示し、この2次性質はスパースであるが、密度の高い線グラフをもたらす。 特に、星グラフは、密度の高い直線グラフと直線グラフのゼロでないグラフを生じる2次特性を満たす。
  論文  参考訳（メタデータ） (2024-09-03T06:50:03Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• G-Mixup: Graph Data Augmentation for Graph Classification [55.63157775049443]
  Mixupは、2つのランダムサンプル間の特徴とラベルを補間することにより、ニューラルネットワークの一般化とロバスト性を改善する上で優位性を示している。 グラフ分類のためのグラフを増補するために$mathcalG$-Mixupを提案し、グラフの異なるクラスのジェネレータ(すなわちグラフ)を補間する。 実験により、$mathcalG$-MixupはGNNの一般化とロバスト性を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2022-02-15T04:09:44Z)
• Inference Attacks Against Graph Neural Networks [33.19531086886817]
  グラフの埋め込みは、グラフ分析問題を解決する強力なツールである。 グラフ埋め込みの共有は興味深いが、関連するプライバシーリスクは未調査だ。 3つの推論攻撃を組み込むことで,グラフ埋め込みの情報漏洩を系統的に調査する。
  論文  参考訳（メタデータ） (2021-10-06T10:08:11Z)
• GraphGen-Redux: a Fast and Lightweight Recurrent Model for labeled Graph Generation [13.956691231452336]
  ラベル付きグラフ生成のための新しいグラフ前処理手法を提案する。 新たなグラフ前処理手法を導入することで,ノードとエッジのラベル付け情報を共同で処理することができる。 GraphGen-Reduxと呼ばれる対応するモデルは、幅広いデータセットにおけるGraphGenの生成パフォーマンスを改善します。
  論文  参考訳（メタデータ） (2021-07-18T09:26:10Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)
• Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
  グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。 標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。 総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-08T19:48:19Z)
• Graph Pooling with Node Proximity for Hierarchical Representation Learning [80.62181998314547]
  本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。 その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-19T13:09:44Z)
• Line Hypergraph Convolution Network: Applying Graph Convolution for Hypergraphs [18.7475578342125]
  可変ハイパーエッジサイズを持つハイパーグラフにグラフ畳み込みを適用する新しい手法を提案する。 我々はハイパーグラフの行グラフという古典的な概念を、ハイパーグラフ学習の文献で初めて用いている。
  論文  参考訳（メタデータ） (2020-02-09T16:05:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。