論文の概要: Graph Language Models
- arxiv url: http://arxiv.org/abs/2401.07105v2
- Date: Mon, 19 Feb 2024 10:46:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 03:44:21.721612
- Title: Graph Language Models
- Title(参考訳): グラフ言語モデル
- Authors: Moritz Plenz, Anette Frank
- Abstract要約: 両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。
我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。
関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
- 参考スコア(独自算出の注目度): 22.154943201169395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Language Models (LMs) are the workhorses of NLP, their interplay with
structured knowledge graphs (KGs) is still actively researched. Current methods
for encoding such graphs typically either (i) linearize them for embedding with
LMs -- which underutilize structural information, or (ii) use Graph Neural
Networks (GNNs) to preserve the graph structure -- but GNNs cannot represent
text features as well as pretrained LMs. In our work we introduce a novel LM
type, the Graph Language Model (GLM), that integrates the strengths of both
approaches and mitigates their weaknesses. The GLM parameters are initialized
from a pretrained LM to enhance understanding of individual graph concepts and
triplets. Simultaneously, we design the GLM's architecture to incorporate graph
biases, thereby promoting effective knowledge distribution within the graph.
This enables GLMs to process graphs, texts, and interleaved inputs of both.
Empirical evaluations on relation classification tasks show that GLM embeddings
surpass both LM- and GNN-based baselines in supervised and zero-shot setting,
demonstrating their versatility.
- Abstract(参考訳): 言語モデル(LM)はNLPのワークホースであるが、構造化知識グラフ(KG)との相互作用は現在も活発に研究されている。
そのようなグラフを典型的に符号化する現在の方法
(i)構造情報を不活用するLMを埋め込むためのリニア化、又は
(ii)グラフ構造を保存するためにグラフニューラルネットワーク(GNN)を使用するが、GNNは事前訓練されたLMだけでなく、テキストの特徴を表現できない。
本研究では,両アプローチの強みを統合し,その弱さを軽減する新しいLM型であるグラフ言語モデル(GLM)を紹介した。
GLMパラメータは、事前訓練されたLMから初期化され、個々のグラフ概念やトリプレットの理解を深める。
同時に、グラフバイアスを取り入れたGLMアーキテクチャを設計し、グラフ内の効果的な知識分布を促進する。
これにより、GLMはグラフ、テキスト、および両方のインターリーブされた入力を処理することができる。
関係分類タスクの実証評価により, GLM埋め込みは, 教師付きおよびゼロショット設定において, LMベースラインとGNNベースベースラインの両方を超え, 汎用性を示している。
関連論文リスト
- LLaGA: Large Language and Graph Assistant [79.09010152231164]
大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。
LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。
実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
論文 参考訳(メタデータ) (2024-02-13T02:03:26Z) - Large Language Models on Graphs: A Comprehensive Survey [81.7684686396014]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。
まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文 参考訳(メタデータ) (2023-12-05T14:14:27Z) - Large Language Models as Topological Structure Enhancers for
Text-Attributed Graphs [4.90251248691462]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。
本研究では,LLMの情報検索とテキスト生成機能を活用して,ノード分類設定の下でのテキスト分散グラフ(TAG)のトポロジ構造を洗練・強化する方法について検討する。
論文 参考訳(メタデータ) (2023-11-24T07:53:48Z) - GraphGPT: Graph Instruction Tuning for Large Language Models [28.20142151965313]
本稿では,大規模言語モデルとグラフ構造知識を整合させるGraphGPTフレームワークを提案する。
また,ライトウェイトなグラフテキストアライメントプロジェクタを伴って,2段階の命令チューニングパラダイムを提案する。
本フレームワークは,教師付きおよびゼロショットグラフ学習タスクで評価され,より優れた一般化と最先端のベースラインを実現している。
論文 参考訳(メタデータ) (2023-10-19T06:17:46Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳(メタデータ) (2023-10-09T07:59:34Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - Exploring the Potential of Large Language Models (LLMs) in Learning on
Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。
LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文 参考訳(メタデータ) (2023-07-07T05:31:31Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。