論文の概要: A Graph is Worth $K$ Words: Euclideanizing Graph using Pure Transformer

• arxiv url: http://arxiv.org/abs/2402.02464v3
• Date: Wed, 29 May 2024 05:40:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 23:40:54.805107
• Title: A Graph is Worth $K$ Words: Euclideanizing Graph using Pure Transformer
• Title（参考訳）: A Graph is Worth $K$ Words: Euclideanizing Graph using Pure Transformer
• Authors: Zhangyang Gao, Daize Dong, Cheng Tan, Jun Xia, Bozhen Hu, Stan Z. Li,
• Abstract要約: 我々は、非ユークリッドグラフを学習可能なグラフワードに変換するGraph2Seqエンコーダを特徴とするGraphsGPTを紹介する。 GraphGPTデコーダは、元のグラフをGraph Wordsから再構成し、情報等価性を保証する。
• 参考スコア（独自算出の注目度）: 47.25114679486907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can we model Non-Euclidean graphs as pure language or even Euclidean vectors while retaining their inherent information? The Non-Euclidean property have posed a long term challenge in graph modeling. Despite recent graph neural networks and graph transformers efforts encoding graphs as Euclidean vectors, recovering the original graph from vectors remains a challenge. In this paper, we introduce GraphsGPT, featuring an Graph2Seq encoder that transforms Non-Euclidean graphs into learnable Graph Words in the Euclidean space, along with a GraphGPT decoder that reconstructs the original graph from Graph Words to ensure information equivalence. We pretrain GraphsGPT on $100$M molecules and yield some interesting findings: (1) The pretrained Graph2Seq excels in graph representation learning, achieving state-of-the-art results on $8/9$ graph classification and regression tasks. (2) The pretrained GraphGPT serves as a strong graph generator, demonstrated by its strong ability to perform both few-shot and conditional graph generation. (3) Graph2Seq+GraphGPT enables effective graph mixup in the Euclidean space, overcoming previously known Non-Euclidean challenges. (4) The edge-centric pretraining framework GraphsGPT demonstrates its efficacy in graph domain tasks, excelling in both representation and generation. Code is available at \href{https://github.com/A4Bio/GraphsGPT}{GitHub}.
• Abstract（参考訳）: 非ユークリッドグラフを純粋言語やユークリッドベクトルとしてモデル化することは可能か。 非ユークリッド性はグラフモデリングにおいて長期にわたる課題を提起している。 最近のグラフニューラルネットワークとグラフ変換器はユークリッドベクトルとしてグラフを符号化しようとするが、元のグラフをベクトルから復元することは依然として困難である。 本稿では,非ユークリッドグラフをユークリッド空間の学習可能なグラフワードに変換するGraph2Seqエンコーダと,グラフワードから元のグラフを再構成して情報等価性を確保するGraphGPTデコーダを紹介する。 1) 事前学習したGraph2Seqはグラフ表現学習に優れ、8/9ドルのグラフ分類と回帰タスクで最先端の結果が得られる。 2) 事前訓練したグラフGPTは強力なグラフ生成器として機能し, 少数ショットグラフ生成と条件グラフ生成の両方を実行する強力な能力によって実証された。 (3) Graph2Seq+GraphGPT は、既知の非ユークリッド問題を克服し、ユークリッド空間におけるグラフの効果的な混合を可能にする。 (4)エッジ中心の事前学習フレームワークであるGraphsGPTは、グラフドメインタスクにおいて、表現と生成の両方において優れた効果を示す。 コードは \href{https://github.com/A4Bio/GraphsGPT}{GitHub} で公開されている。

関連論文リスト

• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• An Accurate Graph Generative Model with Tunable Features [0.8192907805418583]
  本稿では,グラフ特徴の誤りを返送する機構を新たに追加することで,GraphTuneの精度を向上させる手法を提案する。 実世界のグラフデータセットを用いて実験したところ、生成されたグラフの特徴は従来のモデルと比較して正確に調整されていることがわかった。
  論文  参考訳（メタデータ） (2023-09-03T12:34:15Z)
• G-Mixup: Graph Data Augmentation for Graph Classification [55.63157775049443]
  Mixupは、2つのランダムサンプル間の特徴とラベルを補間することにより、ニューラルネットワークの一般化とロバスト性を改善する上で優位性を示している。 グラフ分類のためのグラフを増補するために$mathcalG$-Mixupを提案し、グラフの異なるクラスのジェネレータ(すなわちグラフ)を補間する。 実験により、$mathcalG$-MixupはGNNの一般化とロバスト性を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2022-02-15T04:09:44Z)
• Inference Attacks Against Graph Neural Networks [33.19531086886817]
  グラフの埋め込みは、グラフ分析問題を解決する強力なツールである。 グラフ埋め込みの共有は興味深いが、関連するプライバシーリスクは未調査だ。 3つの推論攻撃を組み込むことで,グラフ埋め込みの情報漏洩を系統的に調査する。
  論文  参考訳（メタデータ） (2021-10-06T10:08:11Z)
• GraphGen-Redux: a Fast and Lightweight Recurrent Model for labeled Graph Generation [13.956691231452336]
  ラベル付きグラフ生成のための新しいグラフ前処理手法を提案する。 新たなグラフ前処理手法を導入することで,ノードとエッジのラベル付け情報を共同で処理することができる。 GraphGen-Reduxと呼ばれる対応するモデルは、幅広いデータセットにおけるGraphGenの生成パフォーマンスを改善します。
  論文  参考訳（メタデータ） (2021-07-18T09:26:10Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)
• Contrastive Self-supervised Learning for Graph Classification [21.207647143672585]
  オーバーフィッティングを緩和するために,コントラスト型自己教師学習(CSSL)に基づく2つのアプローチを提案する。 最初のアプローチでは、CSSLを使用して、人間が提供したラベルに頼ることなく、広く利用可能なラベル付きグラフ上のグラフエンコーダを事前訓練する。 第2のアプローチでは、CSSLに基づく正規化器を開発し、教師付き分類タスクと教師なしCSSLタスクを同時に解決する。
  論文  参考訳（メタデータ） (2020-09-13T05:12:55Z)
• Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
  グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。 標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。 総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-08T19:48:19Z)
• Graph Pooling with Node Proximity for Hierarchical Representation Learning [80.62181998314547]
  本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。 その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-19T13:09:44Z)
• Line Hypergraph Convolution Network: Applying Graph Convolution for Hypergraphs [18.7475578342125]
  可変ハイパーエッジサイズを持つハイパーグラフにグラフ畳み込みを適用する新しい手法を提案する。 我々はハイパーグラフの行グラフという古典的な概念を、ハイパーグラフ学習の文献で初めて用いている。
  論文  参考訳（メタデータ） (2020-02-09T16:05:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。