論文の概要: GraphLAMA: Enabling Efficient Adaptation of Graph Language Models with Limited Annotations

• arxiv url: http://arxiv.org/abs/2506.21559v1
• Date: Wed, 11 Jun 2025 16:38:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-07 02:47:44.266446
• Title: GraphLAMA: Enabling Efficient Adaptation of Graph Language Models with Limited Annotations
• Title（参考訳）: GraphLAMA: アノテーションを限定したグラフ言語モデルの効率的な適応を実現する
• Authors: Junze Chen, Cheng Yang, Shujie Li, Zhiqiang Zhang, Yawen Li, Junping Du, Chuan Shi,
• Abstract要約: 大規模言語モデル(LLM)は様々な領域でその強みを示しており、グラフ言語モデル(GLM)としてグラフ解析に最近統合されている。 LLMを予測子として、いくつかのGLMは自然言語で記述された未確認タスクを解釈し、パラメータチューニングなしでプロンプトのいくつかの例から学習することができる。 効率的なチューニングと推論に特化したモデルバックボーンと学習スキームを備えたGraphLAMA法を提案する。
• 参考スコア（独自算出の注目度）: 46.15515676751084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated their strong capabilities in various domains, and have been recently integrated for graph analysis as graph language models (GLMs). With LLMs as the predictor, some GLMs can interpret unseen tasks described by natural language, and learn from a few examples in the prompts without parameter tuning, known as in-context learning (ICL). Another subset of GLMs utilizes abundant training labels to enhance model performance, known as instruction tuning. However, we argue that ICL on graphs has effectiveness issues due to fixed parameters and efficiency issues due to long context. Meanwhile, the large amount of labeled data required for instruction tuning can be difficult to obtain in real-world scenarios. To this end, we aim to introduce an extra parameter adaptation stage that can efficiently tailor GLMs to an unseen graph and task with only a few labeled examples, in exchange for better prediction accuracy and faster inference speed. For implementation, in this paper we propose GraphLAMA method, with its model backbone and learning schemes specialized for efficient tuning and inference. Specifically, for model backbone, we use a graph neural network (GNN) with several well-designed components to transform nodes into the representation space of LLM tokens. Task instructions can then be represented as a mixture of node and language tokens. In the pre-training stage, model parameters except the LLM will be trained with different tasks to capture general knowledge. In the adaptation stage, only a few pre-trained parameters will be updated based on few-shot examples. Extensive experiments on few/zero-shot node classification and summary generation show that our proposed GraphLAMA achieves state-of-the-art performance with 4.91% absolution improvement in accuracy. Compared with ICL, our inference speed can be 10 times faster under 5-shot setting.
• Abstract（参考訳）: 大規模言語モデル (LLM) は様々な領域でその強みを示しており、グラフ言語モデル (GLM) としてグラフ解析に最近統合されている。 LLMを予測子として、いくつかのGLMは自然言語で記述された未確認タスクを解釈し、パラメータチューニングなしでプロンプトのいくつかの例から学習することができる。 GLMのもうひとつのサブセットは、豊富なトレーニングラベルを使用して、インストラクションチューニングとして知られるモデルパフォーマンスを向上させる。 しかし、グラフ上のICLは、長いコンテキストによるパラメータの固定や効率の問題により、有効性に問題があると論じる。 一方、実世界のシナリオでは、命令チューニングに必要な大量のラベル付きデータを入手することは困難である。 そこで本稿では,予測精度の向上と推論速度の向上と引き換えに,GLMを未確認のグラフやタスクに効率的に調整できるパラメータ適応ステージを導入することを目的とする。 本稿では,効率的なチューニングと推論に特化したモデルバックボーンと学習スキームを備えたGraphLAMA法を提案する。 具体的には、モデルバックボーンに対して、よく設計されたいくつかのコンポーネントを備えたグラフニューラルネットワーク(GNN)を使用して、ノードをLLMトークンの表現空間に変換する。 タスク命令はノードトークンと言語トークンの混合として表現できる。 事前学習の段階では、LLM以外のモデルパラメータは、一般的な知識を捉えるために異なるタスクで訓練される。 適応段階では、いくつかの例に基づいて事前訓練されたパラメータだけが更新される。 少数/ゼロショットノード分類と要約生成に関する大規模な実験により,提案したGraphLAMAは4.91%の精度で最先端性能を実現していることがわかった。 ICLと比較して、我々の推論速度は5ショット設定で10倍速い。

関連論文リスト

• Training Large Recommendation Models via Graph-Language Token Alignment [53.3142545812349]
  本稿では,グラフ言語トークンアライメントによる大規模推薦モデルのトレーニングを行う新しいフレームワークを提案する。 インタラクショングラフからアイテムとユーザノードを事前訓練されたLLMトークンにアライメントすることで、GLTAはLLMの推論能力を効果的に活用する。 さらに、エンドツーエンドのアイテム予測のためのトークンアライメントを最適化するために、GLLM(Graph-Language Logits Matching)を導入する。
  論文  参考訳（メタデータ） (2025-02-26T02:19:10Z)
• Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision? [62.12375949429938]
  本稿では,事前学習したグラフニューラルネットワークを下流タスクやデータに適用するためのマルチモーダル・プロンプト学習パラダイムを提案する。 我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。 私たちは、GNNを極めて弱いテキスト管理で見えないクラスに一般化できるCLIPスタイルのゼロショット分類プロトタイプを構築した。
  論文  参考訳（メタデータ） (2024-12-11T08:03:35Z)
• LLMs as Zero-shot Graph Learners: Alignment of GNN Representations with LLM Token Embeddings [7.302176015732192]
  Token Embedding-Aligned Graph Language Model (TEA-GLM) という新しいフレームワークを紹介する。 我々はGNNを事前訓練し、その表現をLLMのトークン埋め込みと整列する。 次に、GNNの表現を固定数のグラフトークン埋め込みに変換する線形プロジェクタを訓練する。
  論文  参考訳（メタデータ） (2024-08-25T04:32:45Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Can GNN be Good Adapter for LLMs? [7.18511200494162]
  テキスト分散グラフ(TAG)は、ソーシャルメディアやレコメンデーションシステムなどに広く応用されている。 グラフニューラルネットワーク(GNN)を,大規模言語モデル(LLM)と協調してTAGに対処する上で,効率的なアダプタとして使用するGraphAdapterを提案する。 複数の実世界のTAGにわたる広範な実験を通じて、Llama 2に基づくGraphAdapterは、ノード分類の点で平均5%改善されている。
  論文  参考訳（メタデータ） (2024-02-20T13:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。