論文の概要: Scalable Link Prediction on Large-Scale Heterogeneous Graphs with Large Language Models

• arxiv url: http://arxiv.org/abs/2401.13227v1
• Date: Wed, 24 Jan 2024 04:50:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 15:33:22.895681
• Title: Scalable Link Prediction on Large-Scale Heterogeneous Graphs with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた大規模異種グラフ上のスケーラブルリンク予測
• Authors: Baolong Bi, Shenghua Liu, Yiwei Wang, Lingrui Mei and Xueqi Chen
• Abstract要約: 本稿では,リンク予測タスクに着目し,大規模不均一グラフ上の拡張性のあるリンク予測のために設計された大規模言語モデルに基づくフレームワークを提案する。 我々は、自然言語でグラフの詳細を記述したリンク予測のための新しいプロンプトを設計する。 本研究では,大規模な異種グラフから重要な情報を抽出する2段階サンプリングパイプラインと,予め定義された制限内で入力トークン数を制御するための分割・対数戦略を提案する。
• 参考スコア（独自算出の注目度）: 6.70718065022374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exploring the application of large-scale language models to graph learning is a novel endeavor. However, the vast amount of information inherent in large graphs poses significant challenges to this process. This paper focuses on the link prediction task and introduces LPNL (Link Prediction via Natural Language), a framework based on a large language model designed for scalable link prediction on large-scale heterogeneous graphs.We design novel prompts for link prediction that articulate graph details in natural language. We propose a two-stage sampling pipeline to extract crucial information from large-scale heterogeneous graphs, and a divide-and-conquer strategy to control the input token count within predefined limits, addressing the challenge of overwhelming information. We fine-tune a T5 model based on our self-supervised learning designed for for link prediction. Extensive experiments on a large public heterogeneous graphs demonstrate that LPNL outperforms various advanced baselines, highlighting its remarkable performance in link prediction tasks on large-scale graphs.
• Abstract（参考訳）: グラフ学習への大規模言語モデルの応用を探求することは、新しい試みである。 しかし、巨大なグラフに固有の膨大な情報はこのプロセスに重大な課題をもたらす。 本稿では,リンク予測タスクに着目し,大規模不均一グラフ上でのスケーラブルリンク予測用に設計された大規模言語モデルに基づくlpnl(link prediction via natural language)を提案する。 本研究では,大規模不均一グラフから重要な情報を抽出する2段階のサンプリングパイプラインと,事前定義された範囲内で入力トークン数を制御するための分割・分割戦略を提案する。 リンク予測用に設計された自己教師付き学習に基づいてt5モデルを微調整する。 大規模な公開ヘテロジニアスグラフに対する大規模な実験により、LPNLは様々な高度なベースラインを上回り、大規模グラフ上のリンク予測タスクにおいて顕著な性能を誇示している。

関連論文リスト

• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• CORE: Data Augmentation for Link Prediction via Information Bottleneck [25.044734252779975]
  リンク予測(LP)はグラフ表現学習の基本的な課題である。 LPモデルのコンパクトかつ予測的な拡張を学習するための新しいデータ拡張手法であるCOREを提案する。
  論文  参考訳（メタデータ） (2024-04-17T03:20:42Z)
• Narrating Causal Graphs with Large Language Models [1.437446768735628]
  本研究では、因果グラフからテキストを生成するための、大規模事前学習言語モデルの能力について検討する。 これらのグラフにエンコードされた因果推論は、医療やマーケティングのような多様なアプリケーションをサポートすることができる。 結果として、生成AIのユーザは、いくつかの例だけでモデルをトレーニングするときに、同様のパフォーマンスが得られるため、将来のアプリケーションをより早くデプロイできる可能性が示唆されている。
  論文  参考訳（メタデータ） (2024-03-11T19:19:59Z)
• Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications [38.83545631999851]
  大規模グラフコーパス上で事前学習を行うグラフ対応言語モデルのフレームワークを提案する。 Amazonの実際の内部データセットと大規模な公開データセットに関する実験を行います。
  論文  参考訳（メタデータ） (2023-06-05T04:46:44Z)
• Learning Large Graph Property Prediction via Graph Segment Training [61.344814074335304]
  本稿では,メモリフットプリントを一定にして大きなグラフ特性予測を学習できる汎用フレームワークを提案する。 バックプロパゲーションのためにサンプリングされていないセグメントに対する埋め込みを効率的に得るために,歴史的埋め込みテーブルを導入することにより,GSTパラダイムを洗練する。 実験の結果,GST-EFDはメモリ効率が良く,高速でありながら,通常の全グラフ学習システムよりもテスト精度が若干向上していることがわかった。
  論文  参考訳（メタデータ） (2023-05-21T02:53:25Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Ensembling Graph Predictions for AMR Parsing [28.625065956013778]
  多くの機械学習タスクでは、モデルはグラフのような構造データを予測するために訓練される。 本研究では,この問題を,グラフ予測の収集によって最も支持される最大のグラフのマイニングとして定式化する。 提案手法は、最先端のAMRの強度を組み合わせることで、5つの標準ベンチマークデータセットのどのモデルよりも精度の高い新しい予測を作成できることを示す。
  論文  参考訳（メタデータ） (2021-10-18T09:35:39Z)
• How Neural Processes Improve Graph Link Prediction [35.652234989200956]
  リンク予測のためのグラフニューラルネットワークを用いたメタラーニング手法:グラフニューラルネットワークのためのニューラルプロセス(NPGNN)を提案する。 NPGNNは、トランスダクティブな学習タスクとインダクティブな学習タスクの両方を実行し、小さなサブグラフでトレーニングした後、大きな新しいグラフのパターンに適応することができる。
  論文  参考訳（メタデータ） (2021-09-30T07:35:13Z)
• Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph Link Prediction [69.1473775184952]
  数発のアウトオブグラフリンク予測という現実的な問題を導入する。 我々は,新しいメタ学習フレームワークによってこの問題に対処する。 我々は,知識グラフの補完と薬物と薬物の相互作用予測のために,複数のベンチマークデータセット上でモデルを検証した。
  論文  参考訳（メタデータ） (2020-06-11T17:42:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。