論文の概要: GaLoRA: Parameter-Efficient Graph-Aware LLMs for Node Classification

• arxiv url: http://arxiv.org/abs/2603.10298v1
• Date: Wed, 11 Mar 2026 00:45:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.733409
• Title: GaLoRA: Parameter-Efficient Graph-Aware LLMs for Node Classification
• Title（参考訳）: GaLoRA:ノード分類のためのパラメータ効率の良いグラフ対応LCM
• Authors: Mayur Choudhary, Saptarshi Sengupta, Katerina Potika,
• Abstract要約: テキスト分散グラフ(TAG)は,大規模言語モデル(LLM)をグラフニューラルネットワークと組み合わせてノード分類の性能を向上する,顕著な例である。 本稿では,構造情報をLLMに統合するフレームワークであるGaLoRAを紹介する。 GaLoRAは、TAGによるノード分類タスクの競合性能を示し、完全なLLM微調整で要求されるパラメータ数のわずか0.24%で最先端モデルと同等に動作する。
• 参考スコア（独自算出の注目度）: 0.9685837672183748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid rise of large language models (LLMs) and their ability to capture semantic relationships has led to their adoption in a wide range of applications. Text-attributed graphs (TAGs) are a notable example where LLMs can be combined with Graph Neural Networks to improve the performance of node classification. In TAGs, each node is associated with textual content and such graphs are commonly seen in various domains such as social networks, citation graphs, recommendation systems, etc. Effectively learning from TAGs would enable better representations of both structural and textual representations of the graph and improve decision-making in relevant domains. We present GaLoRA, a parameter-efficient framework that integrates structural information into LLMs. GaLoRA demonstrates competitive performance on node classification tasks with TAGs, performing on par with state-of-the-art models with just 0.24% of the parameter count required by full LLM fine-tuning. We experiment with three real-world datasets to showcase GaLoRA's effectiveness in combining structural and semantical information on TAGs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な増加と意味的関係を捉える能力は、広範囲のアプリケーションで採用されている。 テキスト分散グラフ(TAG)は、ノード分類の性能を向上させるために、LLMをグラフニューラルネットワークと組み合わせることのできる顕著な例である。 TAGでは、各ノードはテキストの内容と関連付けられており、そのようなグラフは、ソーシャルネットワーク、引用グラフ、レコメンデーションシステムなど、さまざまな領域で一般的に見られる。 TAGから効果的に学習することで、グラフの構造的表現とテキスト的表現の両方をより良く表現し、関連する領域における意思決定を改善することができる。 本稿では,LLMに構造情報を統合したパラメータ効率のフレームワークであるGaLoRAを提案する。 GaLoRAは、TAGによるノード分類タスクの競合性能を示し、完全なLLM微調整で要求されるパラメータ数のわずか0.24%で最先端モデルと同等に動作する。 実世界の3つのデータセットを用いて,TAGの構造的情報と意味的情報を組み合わせたGaLoRAの有効性を示す。

関連論文リスト

• Graph Learning in the Era of LLMs: A Survey from the Perspective of Data, Models, and Tasks [25.720233631885726]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)の統合は、有望な技術パラダイムとして現れている。 データ品質を根本的に向上させるために、リッチなセマンティックコンテキストを持つグラフ記述テキストを活用します。 この研究は、グラフ学習方法論の進歩を目指す研究者や実践者にとって、基礎的な参考となる。
  論文  参考訳（メタデータ） (2024-12-17T01:41:17Z)
• From Anchors to Answers: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [27.353083085394008]
  グラフ表現のためのアンカーベース位置符号化方式を備えた新しいフレームワークNT-LLMを提案する。 提案手法では,アンカーとして参照ノードを戦略的に選択し,各ノードの位置をアンカーに対してエンコードし,既存の手法の計算負担を伴わずに重要なトポロジ情報を取得する。 NT-LLMは、位置符号化事前訓練のためのランク保存目的を実装することにより、基本構造解析から複雑な推論シナリオに至るまで、多種多様なグラフタスクにまたがる優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-10-14T17:21:57Z)
• Let's Ask GNN: Empowering Large Language Model for Graph In-Context Learning [28.660326096652437]
  本稿では,逐次テキスト処理とグラフ構造化データのギャップを埋める新しいアプローチであるAskGNNを紹介する。 AskGNNはグラフニューラルネットワーク(GNN)を利用した構造強化レトリバーを使用して、グラフをまたいだラベル付きノードを選択する。 3つのタスクと7つのLLMにわたる実験は、グラフタスクのパフォーマンスにおいてAskGNNが優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-09T17:19:12Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。