論文の概要: A Graph is Worth $K$ Words: Euclideanizing Graph using Pure Transformer
- arxiv url: http://arxiv.org/abs/2402.02464v1
- Date: Sun, 4 Feb 2024 12:29:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 19:22:57.050428
- Title: A Graph is Worth $K$ Words: Euclideanizing Graph using Pure Transformer
- Title(参考訳): グラフは$k$ワードの価値:純粋トランスフォーマーを用いたユークリッド化グラフ
- Authors: Zhangyang Gao, Daize Dong, Cheng Tan, Jun Xia, Bozhen Hu, Stan Z. Li
- Abstract要約: 我々は、非ユークリッドグラフをユークリッド空間で学習可能なグラフ語に変換するGraph2Seqエンコーダを特徴とするGraphsGPTを紹介する。
GraphGPTデコーダは、元のグラフをグラフ語から再構成し、情報等価性を保証する。
- 参考スコア(独自算出の注目度): 50.06806271936606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Can we model non-Euclidean graphs as pure language or even Euclidean vectors
while retaining their inherent information? The non-Euclidean property have
posed a long term challenge in graph modeling. Despite recent GNN and
Graphformer efforts encoding graphs as Euclidean vectors, recovering original
graph from the vectors remains a challenge. We introduce GraphsGPT, featuring a
Graph2Seq encoder that transforms non-Euclidean graphs into learnable graph
words in a Euclidean space, along with a GraphGPT decoder that reconstructs the
original graph from graph words to ensure information equivalence. We pretrain
GraphsGPT on 100M molecules and yield some interesting findings: (1) Pretrained
Graph2Seq excels in graph representation learning, achieving state-of-the-art
results on 8/9 graph classification and regression tasks. (2) Pretrained
GraphGPT serves as a strong graph generator, demonstrated by its ability to
perform both unconditional and conditional graph generation. (3)
Graph2Seq+GraphGPT enables effective graph mixup in the Euclidean space,
overcoming previously known non-Euclidean challenge. (4) Our proposed novel
edge-centric GPT pretraining task is effective in graph fields, underscoring
its success in both representation and generation.
- Abstract(参考訳): 非ユークリッドグラフを純粋言語やユークリッドベクトルとしてモデル化することは可能か。
非ユークリッド性はグラフモデリングにおいて長期的課題となった。
最近のgnnやgraphformerはグラフをユークリッドベクトルとして符号化しているが、ベクターから元のグラフを復元することは課題である。
本稿では,非ユークリッドグラフをユークリッド空間で学習可能なグラフ語に変換するGraph2Seqエンコーダと,元のグラフをグラフ語から再構成して情報等価性を確保するGraphGPTデコーダを紹介する。
1)プリトレーニングされたgraph2seqはグラフ表現学習に優れ、8/9のグラフ分類と回帰タスクで最先端の結果が得られる。
2) 事前訓練グラフGPTは,非条件グラフ生成と条件グラフ生成の両方を実行する能力によって,強力なグラフ生成器として機能する。
3) graph2seq+graphgpt はユークリッド空間における効果的なグラフ混合を可能にする。
(4) 提案したエッジ中心のGPT事前学習タスクはグラフフィールドにおいて有効であり,表現と生成の両面での成功を裏付けるものである。
関連論文リスト
- An Accurate Graph Generative Model with Tunable Features [0.8192907805418583]
本稿では,グラフ特徴の誤りを返送する機構を新たに追加することで,GraphTuneの精度を向上させる手法を提案する。
実世界のグラフデータセットを用いて実験したところ、生成されたグラフの特徴は従来のモデルと比較して正確に調整されていることがわかった。
論文 参考訳(メタデータ) (2023-09-03T12:34:15Z) - Graph Mixup with Soft Alignments [49.61520432554505]
本研究では,画像上での使用に成功しているミキサアップによるグラフデータの増大について検討する。
ソフトアライメントによるグラフ分類のための簡易かつ効果的な混合手法であるS-Mixupを提案する。
論文 参考訳(メタデータ) (2023-06-11T22:04:28Z) - A Unified Framework for Optimization-Based Graph Coarsening [5.720402020129441]
大きなグラフが与えられたとき、グラフ粗化は、もともと与えられたグラフの特性を保ちながら、より小さく抽出可能なグラフを学習することを目的としている。
提案するフレームワークは,グラフ学習と次元減少の一体化にある。
学習された粗大化グラフは、元のグラフと類似した$epsin(0,1)$であることが確立されている。
論文 参考訳(メタデータ) (2022-10-02T06:31:42Z) - Explanation Graph Generation via Pre-trained Language Models: An
Empirical Study with Contrastive Learning [84.35102534158621]
エンドツーエンドで説明グラフを生成する事前学習言語モデルについて検討する。
本稿では,ノードとエッジの編集操作によるグラフ摂動の簡易かつ効果的な方法を提案する。
提案手法は,説明グラフの構造的精度と意味的精度を両立させる。
論文 参考訳(メタデータ) (2022-04-11T00:58:27Z) - G-Mixup: Graph Data Augmentation for Graph Classification [55.63157775049443]
Mixupは、2つのランダムサンプル間の特徴とラベルを補間することにより、ニューラルネットワークの一般化とロバスト性を改善する上で優位性を示している。
グラフ分類のためのグラフを増補するために$mathcalG$-Mixupを提案し、グラフの異なるクラスのジェネレータ(すなわちグラフ)を補間する。
実験により、$mathcalG$-MixupはGNNの一般化とロバスト性を大幅に改善することが示された。
論文 参考訳(メタデータ) (2022-02-15T04:09:44Z) - Inference Attacks Against Graph Neural Networks [33.19531086886817]
グラフの埋め込みは、グラフ分析問題を解決する強力なツールである。
グラフ埋め込みの共有は興味深いが、関連するプライバシーリスクは未調査だ。
3つの推論攻撃を組み込むことで,グラフ埋め込みの情報漏洩を系統的に調査する。
論文 参考訳(メタデータ) (2021-10-06T10:08:11Z) - GraphGen-Redux: a Fast and Lightweight Recurrent Model for labeled Graph
Generation [13.956691231452336]
ラベル付きグラフ生成のための新しいグラフ前処理手法を提案する。
新たなグラフ前処理手法を導入することで,ノードとエッジのラベル付け情報を共同で処理することができる。
GraphGen-Reduxと呼ばれる対応するモデルは、幅広いデータセットにおけるGraphGenの生成パフォーマンスを改善します。
論文 参考訳(メタデータ) (2021-07-18T09:26:10Z) - Dirichlet Graph Variational Autoencoder [65.94744123832338]
本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。
バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
論文 参考訳(メタデータ) (2020-10-09T07:35:26Z) - Contrastive Self-supervised Learning for Graph Classification [21.207647143672585]
オーバーフィッティングを緩和するために,コントラスト型自己教師学習(CSSL)に基づく2つのアプローチを提案する。
最初のアプローチでは、CSSLを使用して、人間が提供したラベルに頼ることなく、広く利用可能なラベル付きグラフ上のグラフエンコーダを事前訓練する。
第2のアプローチでは、CSSLに基づく正規化器を開発し、教師付き分類タスクと教師なしCSSLタスクを同時に解決する。
論文 参考訳(メタデータ) (2020-09-13T05:12:55Z) - Graph Pooling with Node Proximity for Hierarchical Representation
Learning [80.62181998314547]
本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。
その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
論文 参考訳(メタデータ) (2020-06-19T13:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。