論文の概要: Learning on Large-scale Text-attributed Graphs via Variational Inference
- arxiv url: http://arxiv.org/abs/2210.14709v1
- Date: Wed, 26 Oct 2022 13:40:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 15:26:29.683992
- Title: Learning on Large-scale Text-attributed Graphs via Variational Inference
- Title(参考訳): 変分推論による大規模テキスト属性グラフの学習
- Authors: Jianan Zhao, Meng Qu, Chaozhuo Li, Hao Yan, Qian Liu, Rui Li, Xing
Xie, Jian Tang
- Abstract要約: 本稿では,各ノードがテキスト記述と関連付けられているテキスト分散グラフ(TAG)の学習について検討する。
本稿では,グラフ構造と言語学習を変動予測最大化フレームワークを用いて融合させることにより,大規模テキスト分散グラフ上での学習を効果的かつ効果的に行う方法を提案する。
- 参考スコア(独自算出の注目度): 44.558681850874336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies learning on text-attributed graphs (TAGs), where each node
is associated with a text description. An ideal solution for such a problem
would be integrating both the text and graph structure information with large
language models and graph neural networks (GNNs). However, the problem becomes
very challenging when graphs are large due to the high computational complexity
brought by large language models and training GNNs on big graphs. In this
paper, we propose an efficient and effective solution to learning on large
text-attributed graphs by fusing graph structure and language learning with a
variational Expectation-Maximization (EM) framework, called GLEM. Instead of
simultaneously training large language models and GNNs on big graphs, GLEM
proposes to alternatively update the two modules in the E-step and M-step. Such
a procedure allows to separately train the two modules but at the same time
allows the two modules to interact and mutually enhance each other. Extensive
experiments on multiple data sets demonstrate the efficiency and effectiveness
of the proposed approach.
- Abstract(参考訳): 本稿では,各ノードがテキスト記述に関連付けられたテキスト属性グラフ(タグ)について学習する。
このような問題に対する理想的な解決策は、テキストとグラフ構造情報を大きな言語モデルとグラフニューラルネットワーク(GNN)に統合することだ。
しかし、大きな言語モデルによってもたらされる高い計算複雑性と、大きなグラフ上でのGNNの訓練により、グラフが大きくなると、この問題は非常に困難になる。
本稿では,GLEMと呼ばれる変動予測最大化(EM)フレームワークを用いて,グラフ構造と言語学習を融合させることにより,大規模テキスト対応グラフ上での学習を効果的かつ効果的に行う方法を提案する。
GLEMは、大きなグラフ上で大きな言語モデルとGNNを同時にトレーニングする代わりに、EステップとMステップで2つのモジュールを更新することを提案している。
このような手順は2つのモジュールを個別に訓練することができるが、同時に2つのモジュールが相互に相互作用し、相互に強化することができる。
複数のデータセットに対する広範囲な実験は、提案手法の有効性と有効性を示している。
関連論文リスト
- Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-28T18:36:59Z) - GraphEdit: Large Language Models for Graph Structure Learning [62.618818029177355]
グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。
既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。
グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
論文 参考訳(メタデータ) (2024-02-23T08:29:42Z) - When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding
and Reasoning [54.84870836443311]
本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。
このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。
研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
論文 参考訳(メタデータ) (2023-12-16T08:14:11Z) - Efficient Large Language Models Fine-Tuning On Graphs [23.19795835873144]
Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。
本稿では,TAG上でのLarge Language Models (LLMs) のエンドツーエンド微調整のための新しい,効率的なアプローチについて紹介する。
論文 参考訳(メタデータ) (2023-12-07T22:35:16Z) - Which Modality should I use -- Text, Motif, or Image? : Understanding Graphs with Large Language Models [14.251972223585765]
本稿では,テキスト,画像,モチーフなどの多様性を持つグラフを符号化する新たな手法を提案する。
また、グラフ構造解析において、LLM(Large Language Models)を評価するための新しいベンチマークであるGraphTMIも提示されている。
論文 参考訳(メタデータ) (2023-11-16T12:45:41Z) - GraphextQA: A Benchmark for Evaluating Graph-Enhanced Large Language
Models [33.56759621666477]
本稿では,言語モデルへのグラフ知識の統合を評価するためのベンチマークデータセットを提案する。
提案したデータセットは,グラフの理解能力を評価し,回答生成に利用するように設計されている。
言語のみのモデルと提案したグラフ言語モデルを用いて,ペアグラフの有用性を検証し,課題の難しさを実証する。
論文 参考訳(メタデータ) (2023-10-12T16:46:58Z) - Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。
非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
論文 参考訳(メタデータ) (2023-05-29T04:51:09Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。