論文の概要: Graph Language Models
- arxiv url: http://arxiv.org/abs/2401.07105v1
- Date: Sat, 13 Jan 2024 16:09:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 19:44:07.092921
- Title: Graph Language Models
- Title(参考訳): グラフ言語モデル
- Authors: Moritz Plenz, Anette Frank
- Abstract要約: 両アプローチの長所を統合する新しい言語モデルであるグラフ言語モデル(GLM)を導入する。
GLMパラメータは、事前訓練されたLMからニュアンスされ、個々の概念や三重項の理解が容易になる。
ConceptNet サブグラフにおける関係分類タスクの実証評価により,GLM の埋め込みが LM- および GNN ベースのベースラインを教師付きおよびゼロショット設定で超越していることが判明した。
- 参考スコア(独自算出の注目度): 22.154943201169395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Language Models have become workhorses for NLP, their interplay with
textual knowledge graphs (KGs) - structured memories of general or domain
knowledge - is actively researched. Current embedding methodologies for such
graphs typically either (i) linearize graphs for embedding them using
sequential Language Models (LMs), which underutilize structural information, or
(ii) use Graph Neural Networks (GNNs) to preserve graph structure, while GNNs
cannot represent textual features as well as a pre-trained LM could. In this
work we introduce a novel language model, the Graph Language Model (GLM), that
integrates the strengths of both approaches, while mitigating their weaknesses.
The GLM parameters are initialized from a pretrained LM, to facilitate nuanced
understanding of individual concepts and triplets. Simultaneously, its
architectural design incorporates graph biases, thereby promoting effective
knowledge distribution within the graph. Empirical evaluations on relation
classification tasks on ConceptNet subgraphs reveal that GLM embeddings surpass
both LM- and GNN-based baselines in supervised and zero-shot settings.
- Abstract(参考訳): 言語モデルはnlpのワークホースとなっているが、テキスト知識グラフ(kgs)との相互作用(一般またはドメイン知識の構造化記憶)は積極的に研究されている。
このようなグラフに対する現在の埋め込み方法論は、典型的にはどちらかである
一 構造情報を活用しない逐次言語モデル(LM)を用いてそれらを埋め込むためのグラフを線形化する、又は
(i)グラフ構造を保存するためにグラフニューラルネットワーク(GNN)を用いる一方、GNNは事前訓練されたLMと同様にテキストの特徴を表現できない。
本稿では,両アプローチの強みを統合しつつ,その弱点を緩和する新しい言語モデルであるグラフ言語モデル(GLM)を紹介する。
GLMパラメータは、事前訓練されたLMから初期化され、個々の概念や三重項の微妙な理解を容易にする。
同時に、そのアーキテクチャ設計はグラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。
ConceptNet サブグラフにおける関係分類タスクの実証評価により,GLM の埋め込みが LM- および GNN ベースのベースラインを教師付きおよびゼロショット設定で超越していることが判明した。
関連論文リスト
- Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-28T18:36:59Z) - GraSAME: Injecting Token-Level Structural Information to Pretrained Language Models via Graph-guided Self-Attention Mechanism [10.573861741540853]
本研究では,事前学習型言語モデルのためのグラフ誘導型自己注意機構GraSAMEを提案する。
GraSAMEはトークンレベルの構造情報をPLMにシームレスに組み込む。
グラフからテキストへの生成タスクの実験では,GraSAMEがベースラインモデルより優れ,WebNLGデータセット上での最先端(SOTA)モデルに匹敵する結果が得られることを示した。
論文 参考訳(メタデータ) (2024-04-10T11:03:57Z) - Large Language Models on Graphs: A Comprehensive Survey [81.7684686396014]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。
まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文 参考訳(メタデータ) (2023-12-05T14:14:27Z) - GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。
堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。
本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
論文 参考訳(メタデータ) (2023-10-19T06:17:46Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳(メタデータ) (2023-10-09T07:59:34Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - Exploring the Potential of Large Language Models (LLMs) in Learning on
Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。
LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文 参考訳(メタデータ) (2023-07-07T05:31:31Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。