論文の概要: Efficient Tuning and Inference for Large Language Models on Textual Graphs
- arxiv url: http://arxiv.org/abs/2401.15569v2
- Date: Wed, 24 Jul 2024 08:56:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 19:20:39.518616
- Title: Efficient Tuning and Inference for Large Language Models on Textual Graphs
- Title(参考訳): テキストグラフを用いた大規模言語モデルの効率的なチューニングと推論
- Authors: Yun Zhu, Yaoke Wang, Haizhou Shi, Siliang Tang,
- Abstract要約: ENGINE は LLM エンコーダを用いたテキストグラフのパラメータおよびメモリ効率の高い微調整法である。
テキストグラフの実験は、最良のモデル性能を達成することによって、我々の手法の有効性を実証する。
キャッシュと動的アーリーエグジットの2つのバリエーションを導入し、トレーニングと推論速度をさらに向上させる。
- 参考スコア(独自算出の注目度): 29.54120519469645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rich textual and topological information of textual graphs need to be modeled in real-world applications such as webpages, e-commerce, and academic articles. Practitioners have been long following the path of adopting a shallow text encoder and a subsequent graph neural network (GNN) to solve this problem. In light of recent advancements in large language models (LLMs), it is apparent that integrating LLMs for enhanced textual encoding can substantially improve the performance of textual graphs. Nevertheless, the efficiency of these methods poses a significant challenge. In this paper, we propose ENGINE, a parameter- and memory-efficient fine-tuning method for textual graphs with an LLM encoder. The key insight is to combine the LLMs and GNNs through a tunable side structure, which significantly reduces the training complexity without impairing the joint model's capacity. Extensive experiments on textual graphs demonstrate our method's effectiveness by achieving the best model performance, meanwhile having the lowest training cost compared to previous methods. Moreover, we introduce two variants with caching and dynamic early exit to further enhance training and inference speed. Specifically, caching accelerates ENGINE's training by 12x, and dynamic early exit achieves up to 5x faster inference with a negligible performance drop (at maximum 1.17% relevant drop across 7 datasets). Our codes are available at: https://github.com/ZhuYun97/ENGINE
- Abstract(参考訳): テキストグラフのリッチなテキスト情報とトポロジ情報は、Webページ、eコマース、学術論文などの現実世界のアプリケーションでモデル化する必要がある。
この問題を解決するために、浅いテキストエンコーダとその後のグラフニューラルネットワーク(GNN)を採用する道のりは、長年続いている。
大規模言語モデル(LLM)の最近の進歩を踏まえると,拡張テキストエンコーディングのためのLLMの統合により,テキストグラフの性能が大幅に向上することが明らかである。
しかし、これらの手法の効率は大きな課題となる。
本稿では, LLMエンコーダを用いたテキストグラフのためのパラメータおよびメモリ効率の高い微調整法であるENGINEを提案する。
重要な洞察は、LLMとGNNを調整可能なサイド構造で組み合わせることであり、ジョイントモデルの容量を損なうことなく、トレーニングの複雑さを著しく低減する。
テキストグラフの大規模実験により,従来の手法に比べてトレーニングコストが低いのに対して,最高のモデル性能を達成し,本手法の有効性を実証した。
さらに,キャッシュと動的早期出口の2つのバリエーションを導入し,トレーニングと推論速度をさらに向上させる。
具体的には、キャッシュはENGINEのトレーニングを12倍加速させ、ダイナミックアーリーエグジットは、無視可能なパフォーマンス低下(最大で7つのデータセットで1.17%のダウン)で最大5倍高速な推論を達成する。
私たちのコードは、https://github.com/ZhuYun97/ENGINEで利用可能です。
関連論文リスト
- Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。
本稿では,課題計画のためのグラフ学習に基づく手法について検討する。
我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
論文 参考訳(メタデータ) (2024-05-29T14:26:24Z) - Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。
DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。
DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
論文 参考訳(メタデータ) (2024-05-23T10:26:18Z) - Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-28T18:36:59Z) - GraSAME: Injecting Token-Level Structural Information to Pretrained Language Models via Graph-guided Self-Attention Mechanism [10.573861741540853]
本研究では,事前学習型言語モデルのためのグラフ誘導型自己注意機構GraSAMEを提案する。
GraSAMEはトークンレベルの構造情報をPLMにシームレスに組み込む。
グラフからテキストへの生成タスクの実験では,GraSAMEがベースラインモデルより優れ,WebNLGデータセット上での最先端(SOTA)モデルに匹敵する結果が得られることを示した。
論文 参考訳(メタデータ) (2024-04-10T11:03:57Z) - Efficient End-to-end Language Model Fine-tuning on Graphs [21.23522552579571]
Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。
我々は,TAG上での言語モデルのエンドツーエンドな微調整のための,新規かつ効率的なアプローチであるLEAdingを紹介する。
提案手法は,Ogbn-arxiv のリーダーボード上で,最先端のSOTA(State-of-the-art)を達成し,優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-07T22:35:16Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - Learning on Large-scale Text-attributed Graphs via Variational Inference [44.558681850874336]
本稿では,各ノードがテキスト記述と関連付けられているテキスト分散グラフ(TAG)の学習について検討する。
本稿では,グラフ構造と言語学習を変動予測最大化フレームワークを用いて融合させることにより,大規模テキスト分散グラフ上での学習を効果的かつ効果的に行う方法を提案する。
論文 参考訳(メタデータ) (2022-10-26T13:40:57Z) - Learnable Graph Matching: Incorporating Graph Partitioning with Deep
Feature Learning for Multiple Object Tracking [58.30147362745852]
フレーム間のデータアソシエーションは、Multiple Object Tracking(MOT)タスクの中核にある。
既存の手法は、主にトラックレットとフレーム内検出の間のコンテキスト情報を無視する。
そこで本研究では,学習可能なグラフマッチング手法を提案する。
論文 参考訳(メタデータ) (2021-03-30T08:58:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。