論文の概要: Graph-Bert: Only Attention is Needed for Learning Graph Representations
- arxiv url: http://arxiv.org/abs/2001.05140v2
- Date: Wed, 22 Jan 2020 15:16:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 05:31:01.515304
- Title: Graph-Bert: Only Attention is Needed for Learning Graph Representations
- Title（参考訳）: Graph-Bert: グラフ表現の学習には注意が必要だ
- Authors: Jiawei Zhang, Haopeng Zhang, Congying Xia, Li Sun
- Abstract要約: 支配的なグラフニューラルネットワーク(GNN)はグラフリンクをオーバーレイに処理し、重大なパフォーマンス問題を引き起こした。
本稿では,新しいグラフニューラルネットワークである Graph-BERT (Graph based BERT) を紹介する。
実験の結果, Graph-BERTは学習効率と効率の両方で既存のGNNより優れていた。
- 参考スコア（独自算出の注目度）: 22.031852733026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The dominant graph neural networks (GNNs) over-rely on the graph links,
several serious performance problems with which have been witnessed already,
e.g., suspended animation problem and over-smoothing problem. What's more, the
inherently inter-connected nature precludes parallelization within the graph,
which becomes critical for large-sized graph, as memory constraints limit
batching across the nodes. In this paper, we will introduce a new graph neural
network, namely GRAPH-BERT (Graph based BERT), solely based on the attention
mechanism without any graph convolution or aggregation operators. Instead of
feeding GRAPH-BERT with the complete large input graph, we propose to train
GRAPH-BERT with sampled linkless subgraphs within their local contexts.
GRAPH-BERT can be learned effectively in a standalone mode. Meanwhile, a
pre-trained GRAPH-BERT can also be transferred to other application tasks
directly or with necessary fine-tuning if any supervised label information or
certain application oriented objective is available. We have tested the
effectiveness of GRAPH-BERT on several graph benchmark datasets. Based the
pre-trained GRAPH-BERT with the node attribute reconstruction and structure
recovery tasks, we further fine-tune GRAPH-BERT on node classification and
graph clustering tasks specifically. The experimental results have demonstrated
that GRAPH-BERT can out-perform the existing GNNs in both the learning
effectiveness and efficiency.
- Abstract（参考訳）: グラフリンク上の支配的グラフニューラルネットワーク(gnn)は、アニメーション問題や過剰なスムーシング問題など、すでにいくつか深刻なパフォーマンス上の問題が指摘されている。
さらに、本質的に相互接続性はグラフ内の並列化を妨げ、メモリ制約がノード間のバッチを制限しているため、大規模なグラフでは重要になる。
本稿では,グラフ畳み込みや集約演算子を使わずにアテンション機構のみに基づく新しいグラフニューラルネットワーク( Graph-BERT (Graph based BERT))を導入する。
Graph-BERT を完全大入力グラフで表す代わりに、ローカルコンテキスト内でサンプル化されたリンクレスサブグラフで GRAPH-BERT を訓練することを提案する。
GRAPH-BERTはスタンドアロンモードで効果的に学習できる。
一方、事前訓練されたGRAPH-BERTは、監督されたラベル情報や特定のアプリケーション指向の目的が利用可能であれば、他のアプリケーションタスクに直接、あるいは必要な微調整で転送することもできる。
いくつかのグラフベンチマークデータセットにおける Graph-BERT の有効性を検証した。
ノード属性再構成と構造回復タスクを備えた事前学習された Graph-BERT に基づいて,ノード分類およびグラフクラスタリングタスクについてさらに微調整を行う。
実験の結果,GRAPH-BERTは学習効率と効率の両方で既存のGNNよりも優れていた。
関連論文リスト
- Hypergraph-enhanced Dual Semi-supervised Graph Classification [14.339207883093204]
半教師付きグラフ分類のためのハイパーグラフ拡張DuALフレームワークHEALを提案する。
ノード間の高次関係をよりよく探求するために,複雑なノード依存を適応的に学習するハイパーグラフ構造を設計する。
学習したハイパーグラフに基づいて,ハイパーエッジ間の相互作用を捉える線グラフを導入する。
論文 参考訳（メタデータ） (2024-05-08T02:44:13Z) - G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。
G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文 参考訳（メタデータ） (2024-02-12T13:13:04Z) - Train Your Own GNN Teacher: Graph-Aware Distillation on Textual Graphs [37.48313839125563]
グラフのない高速推論のためのLMにグラフ構造をエンコードするグラフ認識蒸留フレームワーク(GRAD)を開発した。
従来の知識蒸留とは異なり、GRADはGNNの教師とグラフのない学生を、共有LMを介してグラフのノード上で共同で最適化する。
トランスダクティブおよびインダクティブの両方の設定における8つのノード分類ベンチマークの実験は、テキストグラフの既存の蒸留手法よりもGRADの方が優れていることを示している。
論文 参考訳（メタデータ） (2023-04-20T22:34:20Z) - An Empirical Study of Retrieval-enhanced Graph Neural Networks [48.99347386689936]
グラフニューラルネットワーク(GNN)は、グラフ表現学習に有効なツールである。
本稿では,グラフニューラルネットワークモデルの選択に非依存な GraphRETRIEVAL という検索強化方式を提案する。
我々は13のデータセットに対して包括的な実験を行い、GRAPHRETRIEVALが既存のGNNよりも大幅に改善されていることを観察した。
論文 参考訳（メタデータ） (2022-06-01T09:59:09Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳（メタデータ） (2022-01-17T11:57:29Z) - Dirichlet Graph Variational Autoencoder [65.94744123832338]
本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。
バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
論文 参考訳（メタデータ） (2020-10-09T07:35:26Z) - Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。
標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。
総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
論文 参考訳（メタデータ） (2020-07-08T19:48:19Z) - Graph Neural Distance Metric Learning with Graph-Bert [10.879701971582502]
我々は、新しいグラフニューラルネットワークに基づく距離距離距離学習アプローチ、すなわちGB-DISTANCE(GRAPH-BERTベースのニューラル距離)を導入する。
GB-DISTANCEは、事前訓練された Graph-BERT モデルに基づいて、グラフ表現を効果的に学習することができる。
さらに、GB-DISTANCEは距離メートル法の基本特性も維持できる。
論文 参考訳（メタデータ） (2020-02-09T18:58:31Z) - Segmented Graph-Bert for Graph Instance Modeling [10.879701971582502]
グラフインスタンス表現学習における Graph-BERT の有効性について検討する。
本稿では,SEG-BERTと呼ばれるセグメントアーキテクチャで再設計する。
7つのグラフ・インスタンス・ベンチマーク・データセットを用いてSEG-BERTの有効性を検証した。
論文 参考訳（メタデータ） (2020-02-09T04:55:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。