論文の概要: Efficient End-to-end Language Model Fine-tuning on Graphs
- arxiv url: http://arxiv.org/abs/2312.04737v2
- Date: Wed, 23 Oct 2024 20:53:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-25 12:52:00.555883
- Title: Efficient End-to-end Language Model Fine-tuning on Graphs
- Title（参考訳）: グラフを用いた効率的なエンドツーエンド言語モデルファインタニング
- Authors: Rui Xue, Xipeng Shen, Ruozhou Yu, Xiaorui Liu,
- Abstract要約: Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。
我々は,TAG上での言語モデルのエンドツーエンドな微調整のための,新規かつ効率的なアプローチであるLEAdingを紹介する。
提案手法は,Ogbn-arxiv のリーダーボード上で,最先端のSOTA(State-of-the-art)を達成し,優れた性能を示す。
- 参考スコア（独自算出の注目度）: 21.23522552579571
- License:
- Abstract: Learning from Text-Attributed Graphs (TAGs) has attracted significant attention due to its wide range of real-world applications. The rapid evolution of language models (LMs) has revolutionized the way we process textual data, which indicates a strong potential to replace shallow text embedding generally used in Graph Neural Networks (GNNs). However, we find that existing LM approaches that exploit text information in graphs suffer from inferior computation and data efficiency. In this study, we introduce LEADING, a novel and efficient approach for end-to-end fine-tuning of language models on TAGs. To enhance data efficiency, LEADING efficiently transfers rich knowledge from LMs to downstream graph learning tasks with limited labeled data by employing end-to-end training of LMs and GNNs in a semi-supervised learning setting. To address associated computation efficiency issues, it introduces two techniques: neighbor decoupling targeting LMs and implicit graph modeling targeting GNNs, respectively. Our proposed approach demonstrates superior performance, achieving state-of-the-art (SOTA) results on the ogbn-arxiv leaderboard, while maintaining computation cost and memory overhead comparable to graph-less fine-tuning of LMs. Through comprehensive experiments, we showcase its superior computation and data efficiency, presenting a promising solution for various LMs and graph learning tasks on TAGs.
- Abstract（参考訳）: Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。
言語モデル(LM)の急速な進化は、私たちがテキストデータを処理する方法に革命をもたらした。
しかし、グラフ内のテキスト情報を利用する既存のLMアプローチは、計算量やデータ効率が劣っていることが判明した。
本研究では,TAG上での言語モデルのエンドツーエンドな微調整のための,新しい,効率的なアプローチであるLEAdingを紹介する。
データ効率を向上させるために、LEAdingは、セミ教師付き学習環境において、LMとGNNのエンドツーエンドトレーニングを用いて、限られたラベル付きデータを用いて、LMからの豊富な知識を下流グラフ学習タスクに効率的に転送する。
計算効率に関する問題に対処するため、それぞれLMを対象とする隣人デカップリングとGNNを対象とする暗黙グラフモデリングという2つの手法を導入している。
提案手法は,計算コストとメモリオーバーヘッドをLMのグラフレス微調整と同等に保ちながら,ogbn-arxivリーダーボード上でのSOTA(State-of-the-art)結果の優れた性能を示す。
総合的な実験を通じて、計算とデータ効率が向上し、様々なLMやグラフ学習タスクをTAG上で実現可能なソリューションを提示する。
関連論文リスト
- NT-LLM: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [26.739650151993928]
グラフは、現実世界のシナリオにおける関係を表現するための基本的なデータ構造である。
グラフ関連のタスクにLLM(Large Language Models)を適用することは、大きな課題となる。
我々は,グラフ構造を効率的にエンコードする新しいフレームワークNT-LLM(Node Tokenizer for Large Language Models)を紹介する。
論文 参考訳（メタデータ） (2024-10-14T17:21:57Z) - Let's Ask GNN: Empowering Large Language Model for Graph In-Context Learning [28.660326096652437]
本稿では,逐次テキスト処理とグラフ構造化データのギャップを埋める新しいアプローチであるAskGNNを紹介する。
AskGNNはグラフニューラルネットワーク(GNN)を利用した構造強化レトリバーを使用して、グラフをまたいだラベル付きノードを選択する。
3つのタスクと7つのLLMにわたる実験は、グラフタスクのパフォーマンスにおいてAskGNNが優れていることを示す。
論文 参考訳（メタデータ） (2024-10-09T17:19:12Z) - Language Models are Graph Learners [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。
本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文 参考訳（メタデータ） (2024-10-03T08:27:54Z) - Verbalized Graph Representation Learning: A Fully Interpretable Graph Model Based on Large Language Models Throughout the Entire Process [8.820909397907274]
完全に解釈可能な言語グラフ表現学習法(VGRL)を提案する。
従来のグラフ機械学習モデルとは対照的に、VGRLはこのパラメータ空間をテキスト記述に制約する。
VGRLの有効性を実証的に評価するために,いくつかの研究を行った。
論文 参考訳（メタデータ） (2024-10-02T12:07:47Z) - All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳（メタデータ） (2024-07-20T22:09:42Z) - Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。
本稿では,課題計画のためのグラフ学習に基づく手法について検討する。
我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
論文 参考訳（メタデータ） (2024-05-29T14:26:24Z) - Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2024-04-28T18:36:59Z) - MuseGraph: Graph-oriented Instruction Tuning of Large Language Models
for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。
GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。
実験結果から,異なるグラフタスクの大幅な改善が示された。
論文 参考訳（メタデータ） (2024-03-02T09:27:32Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳（メタデータ） (2023-05-31T03:18:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。