論文の概要: Distilling Large Language Models for Text-Attributed Graph Learning

• arxiv url: http://arxiv.org/abs/2402.12022v1
• Date: Mon, 19 Feb 2024 10:31:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 17:01:37.148415
• Title: Distilling Large Language Models for Text-Attributed Graph Learning
• Title（参考訳）: テキスト属性グラフ学習のための大規模言語モデルの蒸留
• Authors: Bo Pan, Zheng Zhang, Yifei Zhang, Yuntong Hu, Liang Zhao
• Abstract要約: Text-Attributed Graphs (TAG) は、接続されたテキストドキュメントのグラフである。 グラフモデルはTAGを効率的に学習できるが、トレーニングは人間にアノテートされたラベルに大きく依存している。 大規模言語モデル(LLM)は、最近、少数ショットとゼロショットのTAG学習において顕著な能力を示した。
• 参考スコア（独自算出の注目度）: 17.64577949081361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-Attributed Graphs (TAGs) are graphs of connected textual documents. Graph models can efficiently learn TAGs, but their training heavily relies on human-annotated labels, which are scarce or even unavailable in many applications. Large language models (LLMs) have recently demonstrated remarkable capabilities in few-shot and zero-shot TAG learning, but they suffer from scalability, cost, and privacy issues. Therefore, in this work, we focus on synergizing LLMs and graph models with their complementary strengths by distilling the power of LLMs to a local graph model on TAG learning. To address the inherent gaps between LLMs (generative models for texts) and graph models (discriminative models for graphs), we propose first to let LLMs teach an interpreter with rich textual rationale and then let a student model mimic the interpreter's reasoning without LLMs' textual rationale. Extensive experiments validate the efficacy of our proposed framework.
• Abstract（参考訳）: Text-Attributed Graphs (TAG) は、接続されたテキストドキュメントのグラフである。 グラフモデルは効率的にタグを学習することができるが、そのトレーニングは人間の注釈付きラベルに大きく依存している。 大規模言語モデル(LLM)は、最近、少数ショットとゼロショットのTAG学習において顕著な能力を示したが、スケーラビリティ、コスト、プライバシーの問題に悩まされている。 そこで本研究では,タグ学習における局所グラフモデルにllmのパワーを蒸留することで,llmとグラフモデルを相補的な強みで融合することに焦点を当てる。 テキスト生成モデル(テキスト生成モデル)とグラフモデル(グラフの識別モデル)の相違に対処するために,まず LLM がリッチテキスト論理学で通訳を教えること,次に,学生モデルが LLM のテキスト論理学なしで通訳の推論を模倣することを提案する。 広範な実験により,提案手法の有効性が検証された。

関連論文リスト

• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• GUNDAM: Aligning Large Language Models with Graph Understanding [10.080136100700692]
  textbfGraph textbfUnderstanding for textbfNatural Language textbfDriven textbfAnalytical textbfModel (model)を紹介する。 このモデルは、グラフデータの構造をよりよく理解し、関与するようにLLMを適用し、グラフの構造自体を活用することで複雑な推論タスクを実行できる。
  論文  参考訳（メタデータ） (2024-09-30T07:59:10Z)
• A Survey of Large Language Models for Graphs [21.54279919476072]
  我々は、グラフ学習に適用された最新の最先端の大規模言語モデルについて、詳細なレビューを行う。 フレームワーク設計に基づいて既存の手法を分類する新しい分類法を提案する。 各フレームワークの長所と短所について検討し,今後の研究への可能性を強調する。
  論文  参考訳（メタデータ） (2024-05-10T18:05:37Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
  グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。 本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。 評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T12:37:54Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• Beyond Text: A Deep Dive into Large Language Models' Ability on Understanding Graph Data [13.524529952170672]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。 LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。 LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
  論文  参考訳（メタデータ） (2023-10-07T23:25:22Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。