論文の概要: G2LoRA: Gradient Orthogonal Low-Rank Adaptation Framework for Graph Continual Learning on Text-Attributed Graphs

• arxiv url: http://arxiv.org/abs/2606.01873v1
• Date: Mon, 01 Jun 2026 08:19:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.609656
• Title: G2LoRA: Gradient Orthogonal Low-Rank Adaptation Framework for Graph Continual Learning on Text-Attributed Graphs
• Title（参考訳）: G2LoRA: テキスト分散グラフによるグラフ連続学習のための勾配直交低ランク適応フレームワーク
• Authors: Yuhan Wang, Yibo Ding, Yutong Ye, Mufan Zhao, Wenbo Zhang, Ruijie Wang, Jianxin Li,
• Abstract要約: テキスト分散グラフ(TAG)の連続学習フレームワークであるG2LoRAを提案する。 G2LoRAは単一のグラフテキストアライメント目的の下でノード、リンク、グラフレベルのタスクを統一する。 ベンチマークデータセットの実験では、G2LoRAはさまざまなバックボーンアーキテクチャにおいて、一貫して強力なベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 16.71580533595328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-as-Aligner has emerged as a prevalent pre-training paradigm for Text-Attributed Graphs(TAGS), aligning graph and text modalities into a shared embedding space via CLIP-style contrastive learning. While effective on individual downstream tasks, we observe severe catastrophic forgetting when such models are sequentially fine-tuned on streaming tasks. Although parameter-efficient fine-tuning alleviates forgetting to some extent, it remains insufficient to resolve task interference and ineffective knowledge transfer. In this work, we study graph continual learning for LLM-as-Aligner models on TAGs, with the goal of mitigating interference while promoting positive transfer across tasks. This setting introduces two fundamental challenges: (1) heterogeneous downstream tasks induce shifting optimization objectives, hindering unified fine-tuning; and (2) graph and text encoders exhibit different sensitivities to adaptation, making uncoordinated updates prone to misalignment. To address these challenges, we propose G2LoRA, a continual learning framework for TAGs. G2LoRA unifies node-, link-, and graph-level tasks under a single graph--text alignment objective, and enables consistent optimization across domain/class/task incremental modes. To reduce task interference while encouraging positive transfer, G2LoRA performs category-aware gradient projection in structured subspaces, resolving conflicting updates and enabling conditional backward transfer to balance forward and backward knowledge flow. To further prevent cross-modal drift, G2LoRA introduces gradient magnitude modulation to coordinate update rates between graph and text encoders. Extensive experiments on benchmark datasets demonstrate that G2LoRA consistently outperforms strong baselines across different backbone architectures, achieving superior continual performance and transferability.
• Abstract（参考訳）: LLM-as-Alignerは、テキスト分散グラフ(TAGS)の一般的な事前学習パラダイムとして現れ、CLIPスタイルのコントラスト学習を通じてグラフとテキストのモダリティを共有埋め込み空間に整合させる。 個別の下流タスクに有効であるが、このようなモデルが連続的にストリーミングタスクに微調整されている場合、深刻な破滅的な忘れを観察する。 パラメータ効率のよい微調整はある程度忘れることを緩和するが、タスク干渉と非効率的な知識伝達を解決するには不十分である。 本研究では,TAGにおけるLCM-as-Alignerモデルのグラフ連続学習について検討し,タスク間の正の伝達を促進するとともに干渉を軽減することを目的とした。 この設定は,(1)不均一な下流タスクが最適化目標のシフトを誘導し,統一的な微調整を妨げること,(2)グラフとテキストエンコーダが適応に対して異なる感性を示すこと,そして非協調的な更新が誤修正を招きやすいこと,の2つの根本的な課題を提起する。 これらの課題に対処するため,TAGのための継続的学習フレームワークであるG2LoRAを提案する。 G2LoRAは単一グラフテキストアライメントの目的の下でノード、リンク、グラフレベルのタスクを統一し、ドメイン/クラス/タスクインクリメンタルモード間で一貫した最適化を可能にする。 G2LoRAは、正の転送を奨励しながらタスク干渉を低減するため、構造化部分空間においてカテゴリ対応の勾配投影を行い、矛盾する更新を解消し、前と後ろの知識の流れをバランスさせる条件付き後方転送を可能にする。 クロスモーダルドリフトをさらに防止するため、G2LoRAはグラフとテキストエンコーダ間の更新率を調整するために勾配度変調を導入している。 ベンチマークデータセットの大規模な実験により、G2LoRAは、異なるバックボーンアーキテクチャで一貫して強力なベースラインを上回り、継続的なパフォーマンスと転送性に優れることが示された。

関連論文リスト

• HELP: HyperNode Expansion and Logical Path-Guided Evidence Localization for Accurate and Efficient GraphRAG [53.30561659838455]
  大きな言語モデル(LLM)は、しばしば固有の知識境界と幻覚に苦しむ。 Retrieval-Augmented Generation (RAG) は、マルチホップ推論に不可欠な構造的相互依存性をしばしば見落としている。 ヘルプは、複数の単純でマルチホップなQAベンチマークで競合性能を達成し、グラフベースのRAGベースラインよりも28.8$times$のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-02-24T14:05:29Z)
• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。 textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
  論文  参考訳（メタデータ） (2025-10-06T08:09:15Z)
• Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [79.75818239774952]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。 Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。 本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-22T05:15:27Z)
• Degree-Conscious Spiking Graph for Cross-Domain Adaptation [51.58506501415558]
  Spiking Graph Networks (SGNs) はグラフ分類において大きな可能性を証明している。 DeSGraDA(Degree-Consicious Spiking Graph for Cross-Domain Adaptation)という新しいフレームワークを紹介する。 DeSGraDAは3つのキーコンポーネントを持つドメイン間の一般化を強化する。
  論文  参考訳（メタデータ） (2024-10-09T13:45:54Z)
• GraphLoRA: Structure-Aware Contrastive Low-Rank Adaptation for Cross-Graph Transfer Learning [17.85404473268992]
  グラフニューラルネットワーク(GNN)は、様々なグラフ解析タスクを扱うのに顕著な習熟度を示した。 汎用性にもかかわらず、GNNはトランスファービリティにおいて重大な課題に直面し、現実のアプリケーションでの利用を制限している。 グラフ領域によく訓練されたGNNを転送するための有効かつパラメータ効率のよいGraphLoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-25T06:57:42Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• DDGHM: Dual Dynamic Graph with Hybrid Metric Training for Cross-Domain Sequential Recommendation [15.366783212837515]
  Sequential Recommendation (SR) は、ユーザがアイテム間を移動する方法をモデル化することによって、ユーザの行動の進化パターンを特徴付ける。 この問題を解決するため、我々はクロスドメインシーケンスレコメンデーション(CDSR)に焦点を当てる。 本稿では,CDSR問題のための新しいフレームワークであるDDGHMを提案する。
  論文  参考訳（メタデータ） (2022-09-21T07:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。