論文の概要: GNN-LM: Language Modeling based on Global Contexts via GNN

• arxiv url: http://arxiv.org/abs/2110.08743v1
• Date: Sun, 17 Oct 2021 07:18:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-21 07:08:12.123470
• Title: GNN-LM: Language Modeling based on Global Contexts via GNN
• Title（参考訳）: GNN-LM:グローバルコンテキストに基づく言語モデリング
• Authors: Yuxian Meng, Shi Zong, Xiaoya Li, Xiaofei Sun, Tianwei Zhang, Fei Wu, Jiwei Li
• Abstract要約: GNN-LMは、トレーニングコーパス全体において、同様のコンテキストを参照できるようにすることで、バニラニューラル言語モデル(LM)を拡張します。 GNN-LMはWikiText-103で14.8の最先端のパープレクシリティを実現している。
• 参考スコア（独自算出の注目度）: 32.52117529283929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by the notion that ``{\it to copy is easier than to memorize}``, in this work, we introduce GNN-LM, which extends the vanilla neural language model (LM) by allowing to reference similar contexts in the entire training corpus. We build a directed heterogeneous graph between an input context and its semantically related neighbors selected from the training corpus, where nodes are tokens in the input context and retrieved neighbor contexts, and edges represent connections between nodes. Graph neural networks (GNNs) are constructed upon the graph to aggregate information from similar contexts to decode the token. This learning paradigm provides direct access to the reference contexts and helps improve a model's generalization ability. We conduct comprehensive experiments to validate the effectiveness of the GNN-LM: GNN-LM achieves a new state-of-the-art perplexity of 14.8 on WikiText-103 (a 4.5 point improvement over its counterpart of the vanilla LM model) and shows substantial improvement on One Billion Word and Enwiki8 datasets against strong baselines. In-depth ablation studies are performed to understand the mechanics of GNN-LM.
• Abstract（参考訳）: 本研究は,<{\it to copy</{\it is easier than to memorize}``という概念に触発され,学習コーパス全体の類似したコンテキストを参照できるようにすることで,バニラニューラル言語モデル(LM)を拡張したGNN-LMを導入する。 入力コンテキスト内のトークンであるノードと検索された隣接コンテキスト,エッジがノード間の接続を表す,トレーニングコーパスから選択された,入力コンテキストと意味的に関連した隣同士の有向不均一グラフを構築する。 グラフニューラルネットワーク(GNN)は、同じコンテキストから情報を集約してトークンをデコードするためにグラフ上に構築される。 この学習パラダイムは、参照コンテキストに直接アクセスし、モデルの一般化能力を改善するのに役立つ。 GNN-LMはWikiText-103(バニラLMモデルに比較して4.5ポイント改善)で14.8の最先端パープレキシティを実現し、10億ワードとEnwiki8データセットを強力なベースラインに対して大幅に改善した。 GNN-LMの力学を理解するため,深部アブレーション研究を行っている。

関連論文リスト

• Deep Semantic Graph Learning via LLM based Node Enhancement [5.312946761836463]
  大規模言語モデル(LLM)は、テキストセマンティクスを理解する上で優れた能力を示している。 本稿では,グラフトランスフォーマーアーキテクチャとLLM拡張ノード機能を組み合わせた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-11T21:55:46Z)
• GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。 本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
  論文  参考訳（メタデータ） (2024-12-08T05:49:58Z)
• Can Large Language Models Act as Ensembler for Multi-GNNs? [6.387816922598151]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なモデルとして登場した。 GNNは、リッチテキストノード属性の固有の意味理解能力に欠けており、アプリケーションでの有効性を制限している。 本研究は、意味情報と構造情報を統合するための堅牢で優れたソリューションを提供することにより、テキストによるグラフアンサンブル学習を推進している。
  論文  参考訳（メタデータ） (2024-10-22T08:48:52Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• PROXI: Challenging the GNNs for Link Prediction [3.8233569758620063]
  本稿では,グラフと属性空間の両方におけるノードペアの近接情報を活用するPROXIを紹介する。 標準機械学習(ML)モデルは競争力があり、最先端のGNNモデルよりも優れています。 ProXIによる従来のGNNの拡張はリンク予測性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:57:38Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
  我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-05-22T18:17:20Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Graph Neural Networks for Natural Language Processing: A Survey [64.36633422999905]
  本稿では,自然言語処理のためのグラフニューラルネットワーク(GNN)について概観する。 我々は,グラフ構築,グラフ表現学習,グラフベースエンコーダ・デコーダモデルという3つの軸に沿って,NLP用GNNの既存の研究を組織する,NLP用GNNの新しい分類法を提案する。
  論文  参考訳（メタデータ） (2021-06-10T23:59:26Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。