論文の概要: Task-Oriented GNNs Training on Large Knowledge Graphs for Accurate and
Efficient Modeling
- arxiv url: http://arxiv.org/abs/2403.05752v1
- Date: Sat, 9 Mar 2024 01:17:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 12:43:08.246235
- Title: Task-Oriented GNNs Training on Large Knowledge Graphs for Accurate and
Efficient Modeling
- Title（参考訳）: 高精度かつ効率的なモデリングのための大規模知識グラフを用いたタスク指向GNN学習
- Authors: Hussein Abdallah, Waleed Afandi, Panos Kalnis, Essam Mansour
- Abstract要約: 本稿では,大規模知識グラフ(KG)を用いたタスク指向HGNN学習におけるTOSG抽出の自動化手法であるKG-TOSAを提案する。
KG-TOSAは、最新のHGNN手法により、トレーニング時間とメモリ使用量を最大70%削減し、精度や推論時間などのモデル性能を向上させる。
- 参考スコア（独自算出の注目度）: 5.857859995882902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A Knowledge Graph (KG) is a heterogeneous graph encompassing a diverse range
of node and edge types. Heterogeneous Graph Neural Networks (HGNNs) are popular
for training machine learning tasks like node classification and link
prediction on KGs. However, HGNN methods exhibit excessive complexity
influenced by the KG's size, density, and the number of node and edge types. AI
practitioners handcraft a subgraph of a KG G relevant to a specific task. We
refer to this subgraph as a task-oriented subgraph (TOSG), which contains a
subset of task-related node and edge types in G. Training the task using TOSG
instead of G alleviates the excessive computation required for a large KG.
Crafting the TOSG demands a deep understanding of the KG's structure and the
task's objectives. Hence, it is challenging and time-consuming. This paper
proposes KG-TOSA, an approach to automate the TOSG extraction for task-oriented
HGNN training on a large KG. In KG-TOSA, we define a generic graph pattern that
captures the KG's local and global structure relevant to a specific task. We
explore different techniques to extract subgraphs matching our graph pattern:
namely (i) two techniques sampling around targeted nodes using biased random
walk or influence scores, and (ii) a SPARQL-based extraction method leveraging
RDF engines' built-in indices. Hence, it achieves negligible preprocessing
overhead compared to the sampling techniques. We develop a benchmark of real
KGs of large sizes and various tasks for node classification and link
prediction. Our experiments show that KG-TOSA helps state-of-the-art HGNN
methods reduce training time and memory usage by up to 70% while improving the
model performance, e.g., accuracy and inference time.
- Abstract（参考訳）: 知識グラフ(KG)は、多様なノードとエッジタイプを含む異種グラフである。
不均一グラフニューラルネットワーク(HGNN)は、ノード分類やKG上のリンク予測といった機械学習タスクのトレーニングに人気がある。
しかし、HGNN法は、KGのサイズ、密度、ノードとエッジの型数に影響される過剰な複雑さを示す。
ai実践者は、特定のタスクに関連するkg gのサブグラフを手作りします。
タスク関連ノードとエッジ型のサブセットを含むタスク指向サブグラフ(TOSG)をGの代わりにTOSGを用いてタスクを訓練することで、大規模なKGに必要な過剰な計算が軽減される。
TOSGを構築するには、KGの構造とタスクの目的を深く理解する必要がある。
そのため、困難で時間がかかります。
本稿では,タスク指向HGNN訓練におけるTOSG抽出の自動化手法であるKG-TOSAを提案する。
KG-TOSAでは、特定のタスクに関連するKGの局所的および大域的構造をキャプチャする汎用グラフパターンを定義する。
グラフパターンにマッチする部分グラフを抽出する様々な手法を探索する。
(i)偏りのあるランダムウォークまたは影響スコアを用いて対象ノード周辺をサンプリングする2つの手法
(II)RDFエンジンの内蔵指標を利用したSPARQLに基づく抽出手法
したがって、サンプリング技術と比較して、無視できる事前処理のオーバーヘッドを達成できる。
我々は,ノード分類とリンク予測のための実kgsと様々なタスクのベンチマークを開発した。
実験の結果,kg-tosaはトレーニング時間とメモリ使用量を最大70%削減し,モデル性能,例えば精度と推論時間を改善する。
関連論文リスト
- GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning [21.057810495833063]
本稿では,LLMの言語理解能力とGNNの推論能力を組み合わせた検索強化世代(RAG)形式の新しい手法であるGNN-RAGを紹介する。
我々のGNN-RAGフレームワークでは、GNNはグラフ情報を抽出するために高密度なサブグラフ推論器として機能する。
実験により、GNN-RAGは2つの広く使用されているKGQAベンチマークで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2024-05-30T15:14:24Z) - GRAPES: Learning to Sample Graphs for Scalable Graph Neural Networks [2.4175455407547015]
グラフニューラルネットワークは、隣人からの情報を集約することでノードを表現することを学ぶ。
いくつかの既存手法では、ノードの小さなサブセットをサンプリングし、GNNをもっと大きなグラフにスケールすることで、この問題に対処している。
本稿では,GNNのトレーニングに不可欠なノードの集合を識別する適応サンプリング手法であるGRAPESを紹介する。
論文 参考訳（メタデータ） (2023-10-05T09:08:47Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - Schema First! Learn Versatile Knowledge Graph Embeddings by Capturing
Semantics with MASCHInE [3.174882428337821]
近年,知識グラフ埋め込みモデル (KGEMs) が注目されている。
本研究では,RDF/S情報を活用するKGの小型改良版であるプロトグラフを設計する。
学習されたプロトグラフベースの埋め込みは、KGのセマンティクスをカプセル化することを目的としており、KGEの学習に利用することができる。
論文 参考訳（メタデータ） (2023-06-06T13:22:54Z) - Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit
Diversity Modeling [60.0185734837814]
グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。
GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。
本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
論文 参考訳（メタデータ） (2023-04-06T01:09:36Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Sequence-to-Sequence Knowledge Graph Completion and Question Answering [8.207403859762044]
既製のエンコーダ・デコーダ変換器モデルは,スケーラブルで汎用的なKGEモデルとして機能することを示す。
我々は,KGリンク予測をシーケンス・ツー・シーケンス・タスクとして用い,従来のKGE手法による3つのスコアリングアプローチを自己回帰復号化と交換することで,これを実現する。
論文 参考訳（メタデータ） (2022-03-19T13:01:49Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳（メタデータ） (2021-02-12T21:52:43Z) - Toward Subgraph-Guided Knowledge Graph Question Generation with Graph
Neural Networks [53.58077686470096]
知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。
本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
論文 参考訳（メタデータ） (2020-04-13T15:43:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。