論文の概要: Bridging Large Language Models and Graph Structure Learning Models for Robust Representation Learning
- arxiv url: http://arxiv.org/abs/2410.12096v1
- Date: Tue, 15 Oct 2024 22:43:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:43:49.216690
- Title: Bridging Large Language Models and Graph Structure Learning Models for Robust Representation Learning
- Title(参考訳): ロバスト表現学習のための大規模言語モデルとグラフ構造学習モデル
- Authors: Guangxin Su, Yifan Zhu, Wenjie Zhang, Hanchen Wang, Ying Zhang,
- Abstract要約: グラフ表現学習は現実世界のアプリケーションには不可欠だが、広範にわたるノイズに遭遇することが多い。
本稿では,事前学習された言語モデルとグラフ構造学習モデルの相補的な長所を統合するフレームワークであるLangGSLを紹介する。
- 参考スコア(独自算出の注目度): 22.993015048941444
- License:
- Abstract: Graph representation learning, involving both node features and graph structures, is crucial for real-world applications but often encounters pervasive noise. State-of-the-art methods typically address noise by focusing separately on node features with large language models (LLMs) and on graph structures with graph structure learning models (GSLMs). In this paper, we introduce LangGSL, a robust framework that integrates the complementary strengths of pre-trained language models and GSLMs to jointly enhance both node feature and graph structure learning. In LangGSL, we first leverage LLMs to filter noise in the raw data and extract valuable cleaned information as features, enhancing the synergy of downstream models. During the mutual learning phase in LangGSL, the core idea is to leverage the relatively small language model (LM) to process local attributes and generate reliable pseudo-labels and informative node embeddings, which are then integrated into the GSLM's prediction phase. This approach enriches the global context and enhances overall performance. Meanwhile, GSLM refines the evolving graph structure constructed from the LM's output, offering updated labels back to the LM as additional guidance, thus facilitating a more effective mutual learning process. The LM and GSLM work synergistically, complementing each other's strengths and offsetting weaknesses within a variational information-maximizing framework, resulting in enhanced node features and a more robust graph structure. Extensive experiments on diverse graph datasets of varying scales and across different task scenarios demonstrate the scalability and effectiveness of the proposed approach.
- Abstract(参考訳): ノードの特徴とグラフ構造の両方を含むグラフ表現学習は、現実のアプリケーションには不可欠だが、広範にノイズに遭遇することが多い。
最先端の手法は一般に、大きな言語モデル(LLM)を持つノードの特徴とグラフ構造学習モデル(GSLM)を持つグラフ構造に別々に焦点をあてることによってノイズに対処する。
本稿では,事前学習された言語モデルとGSLMの相補的な長所を統合し,ノード特徴とグラフ構造学習を協調的に強化する,堅牢なフレームワークであるLangGSLを紹介する。
LangGSLでは、まずLLMを利用して生データ中のノイズをフィルタリングし、貴重なクリーニング情報を特徴として抽出し、下流モデルのシナジーを高める。
LangGSLの相互学習フェーズでは、比較的小さな言語モデル(LM)を利用してローカル属性を処理し、信頼できる擬似ラベルと情報ノードの埋め込みを生成し、GSLMの予測フェーズに統合する。
このアプローチはグローバルなコンテキストを強化し、全体的なパフォーマンスを高めます。
一方、GSLMはLMの出力から構築されたグラフ構造を洗練し、更新されたラベルをLMに追加のガイダンスとして提供し、より効果的な相互学習プロセスを容易にする。
LMとGSLMは相乗的に機能し、互いの強みを補完し、変動情報最大化フレームワーク内の弱点を相殺することで、ノードの特徴が強化され、グラフ構造がより堅牢になる。
様々なタスクシナリオのさまざまなグラフデータセットに対する大規模な実験は、提案手法のスケーラビリティと有効性を示している。
関連論文リスト
- All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳(メタデータ) (2024-07-20T22:09:42Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳(メタデータ) (2024-06-19T22:30:08Z) - Dr.E Bridges Graphs with Large Language Models through Words [12.22063024099311]
本稿では,LLMグラフアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。
提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的な '' を理解可能な自然言語に効果的に翻訳することができる。
論文 参考訳(メタデータ) (2024-06-19T16:43:56Z) - LangTopo: Aligning Language Descriptions of Graphs with Tokenized Topological Modeling [10.907949155931474]
本稿では,グラフ構造モデリングと自然言語理解をトークンレベルで整合させるLangTopoを紹介する。
複数のデータセットに対して提案手法の有効性を示す。
論文 参考訳(メタデータ) (2024-06-19T06:20:22Z) - Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-28T18:36:59Z) - Integrating Large Language Models with Graphical Session-Based
Recommendation [8.086277931395212]
LLMGRというグラフィカルなセッションベースレコメンデーションを備えた大規模言語モデルを導入する。
このフレームワークは、SBRタスクのためのLLMとグラフニューラルネットワーク(GNN)を調和して統合することでギャップを埋める。
この統合は、自然言語理解におけるLLMとリレーショナルデータ処理におけるGNNの相補的な強みを活用することを目指している。
論文 参考訳(メタデータ) (2024-02-26T12:55:51Z) - GraphEdit: Large Language Models for Graph Structure Learning [62.618818029177355]
グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。
既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。
グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
論文 参考訳(メタデータ) (2024-02-23T08:29:42Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - Graph Language Models [18.75364157933661]
両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。
我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。
関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
論文 参考訳(メタデータ) (2024-01-13T16:09:49Z) - Large Language Models as Topological Structure Enhancers for Text-Attributed Graphs [4.487720716313697]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。
本研究では,LLMの情報検索とテキスト生成機能を活用して,ノード分類設定の下でのテキスト分散グラフ(TAG)のトポロジ構造を洗練・強化する方法について検討する。
論文 参考訳(メタデータ) (2023-11-24T07:53:48Z) - Disentangled Representation Learning with Large Language Models for
Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。
提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。
実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文 参考訳(メタデータ) (2023-10-27T14:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。