論文の概要: Graph Language Models

• arxiv url: http://arxiv.org/abs/2401.07105v1
• Date: Sat, 13 Jan 2024 16:09:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 19:44:07.092921
• Title: Graph Language Models
• Title（参考訳）: グラフ言語モデル
• Authors: Moritz Plenz, Anette Frank
• Abstract要約: 両アプローチの長所を統合する新しい言語モデルであるグラフ言語モデル(GLM)を導入する。 GLMパラメータは、事前訓練されたLMからニュアンスされ、個々の概念や三重項の理解が容易になる。 ConceptNet サブグラフにおける関係分類タスクの実証評価により,GLM の埋め込みが LM- および GNN ベースのベースラインを教師付きおよびゼロショット設定で超越していることが判明した。
• 参考スコア（独自算出の注目度）: 22.154943201169395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Language Models have become workhorses for NLP, their interplay with textual knowledge graphs (KGs) - structured memories of general or domain knowledge - is actively researched. Current embedding methodologies for such graphs typically either (i) linearize graphs for embedding them using sequential Language Models (LMs), which underutilize structural information, or (ii) use Graph Neural Networks (GNNs) to preserve graph structure, while GNNs cannot represent textual features as well as a pre-trained LM could. In this work we introduce a novel language model, the Graph Language Model (GLM), that integrates the strengths of both approaches, while mitigating their weaknesses. The GLM parameters are initialized from a pretrained LM, to facilitate nuanced understanding of individual concepts and triplets. Simultaneously, its architectural design incorporates graph biases, thereby promoting effective knowledge distribution within the graph. Empirical evaluations on relation classification tasks on ConceptNet subgraphs reveal that GLM embeddings surpass both LM- and GNN-based baselines in supervised and zero-shot settings.
• Abstract（参考訳）: 言語モデルはnlpのワークホースとなっているが、テキスト知識グラフ(kgs)との相互作用(一般またはドメイン知識の構造化記憶)は積極的に研究されている。 このようなグラフに対する現在の埋め込み方法論は、典型的にはどちらかである 一 構造情報を活用しない逐次言語モデル(LM)を用いてそれらを埋め込むためのグラフを線形化する、又は (i)グラフ構造を保存するためにグラフニューラルネットワーク(GNN)を用いる一方、GNNは事前訓練されたLMと同様にテキストの特徴を表現できない。 本稿では,両アプローチの強みを統合しつつ,その弱点を緩和する新しい言語モデルであるグラフ言語モデル(GLM)を紹介する。 GLMパラメータは、事前訓練されたLMから初期化され、個々の概念や三重項の微妙な理解を容易にする。 同時に、そのアーキテクチャ設計はグラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。 ConceptNet サブグラフにおける関係分類タスクの実証評価により,GLM の埋め込みが LM- および GNN ベースのベースラインを教師付きおよびゼロショット設定で超越していることが判明した。

関連論文リスト

• Democratizing Large Language Model-Based Graph Data Augmentation via Latent Knowledge Graphs [22.218522445858344]
  グラフデータの不足やノイズによるグラフ表現学習には,データ拡張が必要である。 我々は、LCMのガイダンスであるDemoGraphを用いて、ブラックボックスのコンテキスト駆動グラフデータ拡張手法を提案する。 本手法は,電子健康記録(EHRs)のシナリオに優れ,文脈知識の最大限活用を実証する。
  論文  参考訳（メタデータ） (2025-02-19T09:00:32Z)
• Graph Learning in the Era of LLMs: A Survey from the Perspective of Data, Models, and Tasks [25.720233631885726]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)の統合は、有望な技術パラダイムとして現れている。 データ品質を根本的に向上させるために、リッチなセマンティックコンテキストを持つグラフ記述テキストを活用します。 この研究は、グラフ学習方法論の進歩を目指す研究者や実践者にとって、基礎的な参考となる。
  論文  参考訳（メタデータ） (2024-12-17T01:41:17Z)
• What Do LLMs Need to Understand Graphs: A Survey of Parametric Representation of Graphs [69.48708136448694]
  大規模言語モデル(LLM)は、期待される推論能力と推論能力のために、AIコミュニティで再編成されている。 我々は、グラフのこのようなパラメトリック表現、グラフ法則は、LLMがグラフデータを入力として理解させるソリューションであると信じている。
  論文  参考訳（メタデータ） (2024-10-16T00:01:31Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• LLMs as Zero-shot Graph Learners: Alignment of GNN Representations with LLM Token Embeddings [7.302176015732192]
  Token Embedding-Aligned Graph Language Model (TEA-GLM) という新しいフレームワークを紹介する。 我々はGNNを事前訓練し、その表現をLLMのトークン埋め込みと整列する。 次に、GNNの表現を固定数のグラフトークン埋め込みに変換する線形プロジェクタを訓練する。
  論文  参考訳（メタデータ） (2024-08-25T04:32:45Z)
• Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
  本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。 我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。