論文の概要: UNIT: Unleash Large Language Models Potential for Graph Continual Learning
- arxiv url: http://arxiv.org/abs/2607.10159v1
- Date: Sat, 11 Jul 2026 06:47:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.324637
- Title: UNIT: Unleash Large Language Models Potential for Graph Continual Learning
- Title（参考訳）: UNIT: グラフ継続学習の可能性を持つ大規模言語モデル
- Abstract要約: グラフ ConTinual Learning (UNIT) のための新しいフレームワーク textbfUNleash Large Language Models PotentIal を提案する。
提案手法は,グラフ連続学習タスクにおける最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 7.639993487110594
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In real-world multimodal web scenarios, graph-structured data often arrives in a streaming manner, making graph continual learning a crucial paradigm for continuously modeling such evolving structures. However, existing graph continual learning methods still face two fundamental challenges. 1) semantic-structural separation, where the graph-based methods excel at modeling topological relationships but neglect deep semantics. 2) imbalanced knowledge transfer, where existing models fail to effectively leverage general knowledge gained from early tasks to benefit subsequent new tasks. To address above issues, we propose a novel framework, \textbf{UN}leash Large Language Models PotentIal for Graph ConTinual Learning (UNIT). By fine-tuning large language model only on the first task, we bridge the distributional gap between the pre-trained LLM corpus and the target task dataset to enhance the adaptability of LLMs for graph-structured tasks. Meanwhile, we propose an uncertain-aware anchor generation mechanism to effectively preserve representative knowledge across tasks, avoiding the neglect of universal knowledge learned from previous tasks. Additionally, we introduce structural confluence modeling to explicitly integrates graph topology information into semantic information, enhancing the collaborative capabilities between semantic understanding and structural modeling. Extensive experiments demonstrate that our proposed method achieves state-of-the-art performance in the graph continual learning task.
- Abstract（参考訳）: 実世界のマルチモーダルウェブシナリオでは、グラフ構造化されたデータがストリーミング方式で到達することがしばしばあり、グラフ連続学習はそのような進化する構造を継続的にモデル化するための重要なパラダイムとなる。
しかし、既存のグラフ連続学習法は、依然として2つの根本的な課題に直面している。
1) 意味構造分離では, グラフに基づく手法はトポロジカルな関係をモデル化する上で優れているが, 深い意味論は無視する。
2) 既存のモデルでは, 初期課題から得られた一般知識を効果的に活用することができず, 新たな課題の恩恵を受けることができる。
上記の問題に対処するため,グラフ ConTinual Learning (UNIT) のための新しいフレームワークである \textbf{UN}leash Large Language Models PotentIal を提案する。
大規模言語モデルを第1タスクのみに微調整することにより、学習済みLLMコーパスと目標タスクデータセットとの分散ギャップを埋め、グラフ構造化タスクに対するLLMの適応性を高める。
一方,従来のタスクから学習した普遍的知識の無視を回避し,タスク間の代表的知識を効果的に保存する不確実なアンカー生成機構を提案する。
さらに,グラフトポロジ情報を意味情報に明示的に統合し,意味理解と構造モデリングの協調性を向上する構造的コンフルエンスモデリングを導入する。
実験の結果,提案手法がグラフ連続学習タスクにおける最先端性能を実現することを示す。
関連論文リスト
- A Survey on Efficient Vision-Language-Action Models [153.11669266922993]
VLA(Vision-Language-Action Model)は、物理世界の相互作用によってデジタル知識を橋渡しすることを目的とした、インテリジェンスにおける重要なフロンティアである。
これらの課題に緊急に対応する必要性から、この調査は、効率的なビジョン・ランゲージ・アクションモデルに関する最初の包括的なレビューを提示する。
論文 参考訳（メタデータ） (2025-10-27T17:57:33Z) - SSTAG: Structure-Aware Self-Supervised Learning Method for Text-Attributed Graphs [29.874597860268008]
テキスト分散グラフ(SSTAG)のための自己教師型学習手法を提案する。
グラフ学習のための統一表現媒体としてテキストを活用することにより、SSTAGは、Large Language Models(LLM)の意味論的推論とグラフニューラルネットワーク(GNN)の構造的モデリング能力のギャップを埋める。
本稿では,LLMとGNNを併用して構造対応多層パーセプトロン (MLP) を合成する二重知識蒸留フレームワークを提案する。
広範囲にわたる実験により、SSTAGはドメイン間移動学習タスクにおける最先端モデルよりも優れており、達成できることが示された。
論文 参考訳（メタデータ） (2025-09-24T09:10:27Z) - Quantizing Text-attributed Graphs for Semantic-Structural Integration [6.721504414917793]
テキスト分散グラフ(TAG)は、様々な領域にわたる複雑な関係をモデル化するための強力な表現として登場した。
大規模言語モデル(LLM)の台頭に伴い、グラフ学習に彼らの能力を活用することへの関心が高まっている。
凍結したコードブックを用いて,グラフ構造情報を離散トークンに直接量子化する,新たな自己教師型フレームワークSTAGを提案する。
論文 参考訳（メタデータ） (2025-07-20T09:18:02Z) - Knowledge Graph Enhanced Generative Multi-modal Models for Class-Incremental Learning [51.0864247376786]
学習過程を通じて進化する知識グラフを構築する知識グラフ強化多モードモデル(KG-GMM)を導入する。
テスト中,生成されたテキスト内の関係を解析し,特定のカテゴリを特定する知識グラフ拡張推論手法を提案する。
論文 参考訳（メタデータ） (2025-03-24T07:20:43Z) - Towards Graph Foundation Models: Training on Knowledge Graphs Enables Transferability to General Graphs [26.477872205199667]
知識グラフをトレーニングするために設計された統合グラフ推論フレームワークであるSCRを紹介する。
本稿では,従来のKG推論における意味的分離に対処する新しいメカニズムであるセマンティックコンディショニングメッセージパッシングを提案する。
以上の結果から,既存の基礎モデルよりも大幅な性能向上が見られた。
論文 参考訳（メタデータ） (2024-10-16T14:26:08Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z) - KGLM: Integrating Knowledge Graph Structure in Language Models for Link
Prediction [0.0]
我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。
知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
論文 参考訳（メタデータ） (2022-11-04T20:38:12Z) - Learning an Interpretable Graph Structure in Multi-Task Learning [18.293397644865454]
本稿では,タスク間のマルチタスク学習と本質的な関係を解釈可能かつスパースなグラフで推定する新しい手法を提案する。
このグラフは各タスクのモデルパラメータと同時に学習するため、特定の予測問題におけるタスク間の臨界関係を反映する。
論文 参考訳（メタデータ） (2020-09-11T18:58:14Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳（メタデータ） (2020-04-29T14:22:42Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳（メタデータ） (2020-03-15T02:33:21Z) - Automated Relational Meta-learning [95.02216511235191]
本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。
我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-01-03T07:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。