論文の概要: LPNL: Scalable Link Prediction with Large Language Models

• arxiv url: http://arxiv.org/abs/2401.13227v3
• Date: Tue, 20 Feb 2024 03:53:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 19:37:30.471974
• Title: LPNL: Scalable Link Prediction with Large Language Models
• Title（参考訳）: LPNL:大規模言語モデルを用いたスケーラブルリンク予測
• Authors: Baolong Bi, Shenghua Liu, Yiwei Wang, Lingrui Mei and Xueqi Cheng
• Abstract要約: この作業はリンク予測タスクに重点を置いており、大規模言語モデルに基づくフレームワークであるtextbfLPNL$ (Link Prediction via Natural Language)を導入している。 我々は、自然言語でグラフの詳細を記述したリンク予測のための新しいプロンプトを設計する。 本稿では,グラフから重要な情報を抽出するための2段階サンプリングパイプラインと,入力トークンを制御するための分割・分散戦略を提案する。
• 参考スコア（独自算出の注目度）: 46.65436204783482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exploring the application of large language models (LLMs) to graph learning is a emerging endeavor. However, the vast amount of information inherent in large graphs poses significant challenges to this process. This work focuses on the link prediction task and introduces $\textbf{LPNL}$ (Link Prediction via Natural Language), a framework based on large language models designed for scalable link prediction on large-scale heterogeneous graphs. We design novel prompts for link prediction that articulate graph details in natural language. We propose a two-stage sampling pipeline to extract crucial information from the graphs, and a divide-and-conquer strategy to control the input tokens within predefined limits, addressing the challenge of overwhelming information. We fine-tune a T5 model based on our self-supervised learning designed for link prediction. Extensive experimental results demonstrate that LPNL outperforms multiple advanced baselines in link prediction tasks on large-scale graphs.
• Abstract（参考訳）: グラフ学習への大規模言語モデル(llm)の適用の探求は、新たな取り組みだ。 しかし、巨大なグラフに固有の膨大な情報はこのプロセスに重大な課題をもたらす。 本研究はリンク予測タスクに着目し,大規模不均一グラフ上でスケーラブルなリンク予測用に設計された大規模言語モデルに基づくフレームワークである$\textbf{lpnl}$(自然言語によるリンク予測)を紹介する。 グラフの詳細を自然言語で表現するリンク予測のための新しいプロンプトを設計した。 本稿では,グラフから重要な情報を抽出する2段階のサンプリングパイプラインと,事前定義された範囲内で入力トークンを制御するための分割・分割戦略を提案する。 リンク予測用に設計された自己教師型学習に基づいてT5モデルを微調整する。 大規模グラフ上でのリンク予測タスクにおいて,LPNLは複数の高度なベースラインよりも優れていることを示す。

関連論文リスト

• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• CORE: Data Augmentation for Link Prediction via Information Bottleneck [25.044734252779975]
  リンク予測(LP)はグラフ表現学習の基本的な課題である。 LPモデルのコンパクトかつ予測的な拡張を学習するための新しいデータ拡張手法であるCOREを提案する。
  論文  参考訳（メタデータ） (2024-04-17T03:20:42Z)
• Narrating Causal Graphs with Large Language Models [1.437446768735628]
  本研究では、因果グラフからテキストを生成するための、大規模事前学習言語モデルの能力について検討する。 これらのグラフにエンコードされた因果推論は、医療やマーケティングのような多様なアプリケーションをサポートすることができる。 結果として、生成AIのユーザは、いくつかの例だけでモデルをトレーニングするときに、同様のパフォーマンスが得られるため、将来のアプリケーションをより早くデプロイできる可能性が示唆されている。
  論文  参考訳（メタデータ） (2024-03-11T19:19:59Z)
• Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications [38.83545631999851]
  大規模グラフコーパス上で事前学習を行うグラフ対応言語モデルのフレームワークを提案する。 Amazonの実際の内部データセットと大規模な公開データセットに関する実験を行います。
  論文  参考訳（メタデータ） (2023-06-05T04:46:44Z)
• Learning Large Graph Property Prediction via Graph Segment Training [61.344814074335304]
  本稿では,メモリフットプリントを一定にして大きなグラフ特性予測を学習できる汎用フレームワークを提案する。 バックプロパゲーションのためにサンプリングされていないセグメントに対する埋め込みを効率的に得るために,歴史的埋め込みテーブルを導入することにより,GSTパラダイムを洗練する。 実験の結果,GST-EFDはメモリ効率が良く,高速でありながら,通常の全グラフ学習システムよりもテスト精度が若干向上していることがわかった。
  論文  参考訳（メタデータ） (2023-05-21T02:53:25Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Ensembling Graph Predictions for AMR Parsing [28.625065956013778]
  多くの機械学習タスクでは、モデルはグラフのような構造データを予測するために訓練される。 本研究では,この問題を,グラフ予測の収集によって最も支持される最大のグラフのマイニングとして定式化する。 提案手法は、最先端のAMRの強度を組み合わせることで、5つの標準ベンチマークデータセットのどのモデルよりも精度の高い新しい予測を作成できることを示す。
  論文  参考訳（メタデータ） (2021-10-18T09:35:39Z)
• How Neural Processes Improve Graph Link Prediction [35.652234989200956]
  リンク予測のためのグラフニューラルネットワークを用いたメタラーニング手法:グラフニューラルネットワークのためのニューラルプロセス(NPGNN)を提案する。 NPGNNは、トランスダクティブな学習タスクとインダクティブな学習タスクの両方を実行し、小さなサブグラフでトレーニングした後、大きな新しいグラフのパターンに適応することができる。
  論文  参考訳（メタデータ） (2021-09-30T07:35:13Z)
• Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph Link Prediction [69.1473775184952]
  数発のアウトオブグラフリンク予測という現実的な問題を導入する。 我々は,新しいメタ学習フレームワークによってこの問題に対処する。 我々は,知識グラフの補完と薬物と薬物の相互作用予測のために,複数のベンチマークデータセット上でモデルを検証した。
  論文  参考訳（メタデータ） (2020-06-11T17:42:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。