論文の概要: GraphGPT: Graph Learning with Generative Pre-trained Transformers

• arxiv url: http://arxiv.org/abs/2401.00529v1
• Date: Sun, 31 Dec 2023 16:19:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 16:54:56.985113
• Title: GraphGPT: Graph Learning with Generative Pre-trained Transformers
• Title（参考訳）: graphgpt:生成事前学習トランスフォーマによるグラフ学習
• Authors: Qifang Zhao, Weidong Ren, Tianyu Li, Xiaoxiao Xu and Hong Liu
• Abstract要約: 自己教師型生成事前学習変換器によるグラフ学習の新しいモデルである textitGraphGPT を紹介する。 我々のモデルでは,各グラフやサンプリングされたサブグラフを,ノード,エッジ,属性を表すトークン列に変換する。 生成前トレーニングにより、パフォーマンスを継続的に向上させることなく、最大4M以上のパラメータをGraphGPTでトレーニングすることが可能になります。
• 参考スコア（独自算出の注目度）: 9.862004020075126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce \textit{GraphGPT}, a novel model for Graph learning by self-supervised Generative Pre-training Transformers. Our model transforms each graph or sampled subgraph into a sequence of tokens representing the node, edge and attributes reversibly using the Eulerian path first. Then we feed the tokens into a standard transformer decoder and pre-train it with the next-token-prediction (NTP) task. Lastly, we fine-tune the GraphGPT model with the supervised tasks. This intuitive, yet effective model achieves superior or close results to the state-of-the-art methods for the graph-, edge- and node-level tasks on the large scale molecular dataset PCQM4Mv2, the protein-protein association dataset ogbl-ppa and the ogbn-proteins dataset from the Open Graph Benchmark (OGB). Furthermore, the generative pre-training enables us to train GraphGPT up to 400M+ parameters with consistently increasing performance, which is beyond the capability of GNNs and previous graph transformers. The source code and pre-trained checkpoints will be released soon\footnote{\url{https://github.com/alibaba/graph-gpt}} to pave the way for the graph foundation model research, and also to assist the scientific discovery in pharmaceutical, chemistry, material and bio-informatics domains, etc.
• Abstract（参考訳）: 自己教師付き生成前学習トランスフォーマーによるグラフ学習の新しいモデルである \textit{graphgpt} を導入する。 本モデルでは,各グラフやサンプリングしたサブグラフを,まずユーレリアパスを用いて,ノード,エッジ,属性を表すトークン列に変換する。 次に、トークンを標準トランスフォーマーデコーダに入力し、Next-token-prediction (NTP)タスクで事前トレーニングする。 最後に、教師付きタスクでGraphGPTモデルを微調整する。 この直感的かつ効果的なモデルは、大規模分子データセットPCQM4Mv2、タンパク質関連データセットogbl-ppa、Open Graph Benchmark(OGB)のogbn-oproteinsデータセットのグラフ、エッジ、ノードレベルのタスクに対する最先端の手法に優れた、あるいは近い結果をもたらす。 さらに、生成事前学習により、GNNや従来のグラフトランスフォーマーの能力を超えるパフォーマンスで、最大4M以上のパラメータをトレーニングすることができる。 ソースコードと事前訓練済みのチェックポイントは近くリリースされる。footnote{\url{https://github.com/alibaba/graph-gpt}} graph foundation model researchへの道を開くとともに、薬学、化学、材料、バイオインフォマティクス分野における科学的発見を支援する。

関連論文リスト

• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• PatchGT: Transformer over Non-trainable Clusters for Learning Graph Representations [18.203910156450085]
  我々は、新しいTransformerベースのグラフニューラルネットワーク、Patch Graph Transformer(PatchGT)を提案する。 グラフ表現を学習する従来のトランスフォーマーベースモデルとは異なり、PatchGTはノードから直接ではなく、トレーニング不可能なグラフパッチから学習する。 PatchGTは1-WL型GNNよりも高い性能を達成し,ベンチマークデータセット上でPatchGTが競合性能を達成することを示す実証的研究を行った。
  論文  参考訳（メタデータ） (2022-11-26T01:17:23Z)
• Self-supervised Graph Masking Pre-training for Graph-to-Text Generation [5.108327983929205]
  大規模事前訓練言語モデル(PLM)は、グラフからテキストへ(G2T)を生成する。 本稿では、教師信号を必要としないグラフマスキング事前学習戦略と、基礎となる事前学習エンコーダ・デコーダモデルのアーキテクチャの調整を提案する。 提案手法は,WebNLG+ 2020およびEventNarrative G2T生成データセット上で,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2022-10-19T14:44:56Z)
• Pure Transformers are Powerful Graph Learners [51.36884247453605]
  グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
  論文  参考訳（メタデータ） (2022-07-06T08:13:06Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Graph Context Encoder: Graph Feature Inpainting for Graph Generation and Self-supervised Pretraining [4.640835690336652]
  グラフコンテキスト(GCE)は、グラフの特徴マスキングと再構成に基づくグラフ表現学習のためのシンプルだが効率的なアプローチである。 GCEモデルは、ノードとエッジラベルがマスクされたグラフオートエンコーダと同様に、入力グラフを効率的に再構築するように訓練される。 GCEは新規なグラフ生成に利用でき、分子生成にも応用できることを示す。
  論文  参考訳（メタデータ） (2021-06-18T13:28:11Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。