論文の概要: Using Graph Algorithms to Pretrain Graph Completion Transformers

• arxiv url: http://arxiv.org/abs/2210.07453v1
• Date: Fri, 14 Oct 2022 01:41:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 17:20:32.530206
• Title: Using Graph Algorithms to Pretrain Graph Completion Transformers
• Title（参考訳）: グラフアルゴリズムを用いたグラフ補完トランスフォーマーの事前学習
• Authors: Jonathan Pilault, Michael Galkin, Bahare Fatemi, Perouz Taslakian, David Vasquez, Christopher Pal
• Abstract要約: 自己教師付き事前トレーニングは、下流グラフ、リンク、ノード分類タスクのパフォーマンスを向上させることができる。 複数のグラフアルゴリズムを用いて構築し,外部データと組み合わせない5種類の事前学習信号について検討する。 本稿では,情報ゲインによって導かれる新しいパスフィニングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 8.327657957422833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on Graph Neural Networks has demonstrated that self-supervised pretraining can further enhance performance on downstream graph, link, and node classification tasks. However, the efficacy of pretraining tasks has not been fully investigated for downstream large knowledge graph completion tasks. Using a contextualized knowledge graph embedding approach, we investigate five different pretraining signals, constructed using several graph algorithms and no external data, as well as their combination. We leverage the versatility of our Transformer-based model to explore graph structure generation pretraining tasks, typically inapplicable to most graph embedding methods. We further propose a new path-finding algorithm guided by information gain and find that it is the best-performing pretraining task across three downstream knowledge graph completion datasets. In a multitask setting that combines all pretraining tasks, our method surpasses some of the latest and strong performing knowledge graph embedding methods on all metrics for FB15K-237, on MRR and Hit@1 for WN18RR and on MRR and hit@10 for JF17K (a knowledge hypergraph dataset).
• Abstract（参考訳）: グラフニューラルネットワークに関する最近の研究は、自己教師付き事前学習が下流グラフ、リンク、ノード分類タスクのパフォーマンスをさらに向上することを示した。 しかし,ダウンストリーム大規模知識グラフ補完タスクでは,事前学習タスクの有効性が十分に検討されていない。 文脈化知識グラフ埋め込み手法を用いて,複数のグラフアルゴリズムを用いて構築した5種類の事前学習信号と,その組み合わせについて検討する。 私たちは、グラフ構造生成事前学習タスクを探索するために、トランスフォーマティブベースのモデルの汎用性を利用します。 さらに,情報ゲインを導いた新しい経路探索アルゴリズムを提案し,下流3つの知識グラフ補完データセットを横断する最善の事前学習課題であることを示す。 事前学習タスクを全て組み合わせたマルチタスク設定では、FB15K-237のすべてのメトリクス、WN18RRのMRRとHit@1、JF17KのMatch@10、知識ハイパーグラフデータセット(英語版)のFB15K-237のすべてのメトリクスに、最新の強力な知識グラフ埋め込みメソッドを超越している。

関連論文リスト

• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• All in One: Multi-task Prompting for Graph Neural Networks [30.457491401821652]
  本稿では,グラフモデルのための新しいマルチタスクプロンプト手法を提案する。 まず、グラフプロンプトと言語プロンプトのフォーマットを、プロンプトトークン、トークン構造、挿入パターンで統一する。 次に、様々なグラフアプリケーションのタスク空間を調査し、下流の問題をグラフレベルのタスクに再構成する。
  論文  参考訳（メタデータ） (2023-07-04T06:27:31Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
  本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。 AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。 本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-22T07:05:48Z)
• Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
  グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。 CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。 提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
  論文  参考訳（メタデータ） (2020-10-25T22:39:31Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。