論文の概要: Deep Bidirectional Language-Knowledge Graph Pretraining

• arxiv url: http://arxiv.org/abs/2210.09338v2
• Date: Wed, 19 Oct 2022 01:56:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 12:34:14.076737
• Title: Deep Bidirectional Language-Knowledge Graph Pretraining
• Title（参考訳）: 双方向言語知識グラフ事前学習
• Authors: Michihiro Yasunaga, Antoine Bosselut, Hongyu Ren, Xikun Zhang, Christopher D Manning, Percy Liang, Jure Leskovec
• Abstract要約: DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。 我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
• 参考スコア（独自算出の注目度）: 159.9645181522436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretraining a language model (LM) on text has been shown to help various downstream NLP tasks. Recent works show that a knowledge graph (KG) can complement text data, offering structured background knowledge that provides a useful scaffold for reasoning. However, these works are not pretrained to learn a deep fusion of the two modalities at scale, limiting the potential to acquire fully joint representations of text and KG. Here we propose DRAGON (Deep Bidirectional Language-Knowledge Graph Pretraining), a self-supervised approach to pretraining a deeply joint language-knowledge foundation model from text and KG at scale. Specifically, our model takes pairs of text segments and relevant KG subgraphs as input and bidirectionally fuses information from both modalities. We pretrain this model by unifying two self-supervised reasoning tasks, masked language modeling and KG link prediction. DRAGON outperforms existing LM and LM+KG models on diverse downstream tasks including question answering across general and biomedical domains, with +5% absolute gain on average. In particular, DRAGON achieves notable performance on complex reasoning about language and knowledge (+10% on questions involving long contexts or multi-step reasoning) and low-resource QA (+8% on OBQA and RiddleSense), and new state-of-the-art results on various BioNLP tasks. Our code and trained models are available at https://github.com/michiyasunaga/dragon.
• Abstract（参考訳）: テキスト上で言語モデル(LM)を事前学習することは、様々な下流のNLPタスクに役立つことが示されている。 最近の研究は、知識グラフ(KG)がテキストデータを補完し、構造化された背景知識を提供し、推論に有用な足場を提供することを示している。 しかし、これらの作品は、テキストとkgの完全な結合表現を得る可能性を制限し、スケールでの2つのモダリティの深い融合を学ぶために事前訓練されていない。 本稿では,テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己指導型アプローチであるDRAGONを提案する。 具体的には、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。 我々は,2つの自己教師型推論タスク,マスキング言語モデリング,KGリンク予測を統合することで,このモデルを事前学習する。 DRAGONは、一般的な領域とバイオメディカル領域にわたる質問応答を含む様々な下流タスクにおいて、既存のLMとLM+KGモデルよりパフォーマンスが良く、平均で+5%の絶対ゲインがある。 特に、DRAGONは、言語と知識に関する複雑な推論(長いコンテキストや多段階の推論に関する質問の+10%以上)と低リソースのQA(OBQAとRiddleSenseの+8%以上)における顕著なパフォーマンスと、様々なBioNLPタスクにおける最先端の成果を実現している。 私たちのコードとトレーニングされたモデルはhttps://github.com/michiyasunaga/dragon.comで利用可能です。

関連論文リスト

• Can LLMs be Good Graph Judger for Knowledge Graph Construction? [33.958327252291]
  本稿では,上記の課題に対処するための知識グラフ構築フレームワークであるGraphJudgerを提案する。 提案手法には,エンティティ中心の反復的テキスト記述,知識認識型指導チューニング,グラフ判断の3つの革新的なモジュールが導入されている。 2つの一般的なテキストグラフペアデータセットと1つのドメイン固有のテキストグラフペアデータセットによる実験は、ベースライン法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-11-26T12:46:57Z)
• Retrieval-Augmented Language Model for Extreme Multi-Label Knowledge Graph Link Prediction [2.6749568255705656]
  大規模言語モデル(LLM)における開放的調査のための外挿は2つの重要な問題に遭遇する。 既存の作業は、知識グラフからの情報により、より小さな言語モデルの入力を増大させることによって、この問題に対処しようとするものである。 我々は,モデルが複数の応答で外挿を行うことを可能にするために,新たなタスク,極端なマルチラベルKGリンク予測タスクを提案する。
  論文  参考訳（メタデータ） (2024-05-21T10:10:56Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs [4.56877715768796]
  我々は,ChatGPTがWebNLG 2020の課題に対して,最先端のパフォーマンスを達成していることを示す。 また、LLMが解析しているデータについて既に知っていることと、出力テキストの品質との間には大きな関連性があることも示している。
  論文  参考訳（メタデータ） (2023-07-14T12:45:03Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models [42.38563175680914]
  本稿では,知識グラフ(KG)の事実を記述した自然言語テキストの自動生成方法について検討する。 数ショットの設定を考えると、言語理解と生成において事前学習された言語モデル(PLM)の優れた能力を利用する。
  論文  参考訳（メタデータ） (2021-06-03T06:48:00Z)
• Language Models are Open Knowledge Graphs [75.48081086368606]
  近年の深層言語モデルは,事前学習を通じて大規模コーパスから知識を自動取得する。 本稿では,言語モデルに含まれる知識をKGにキャストするための教師なし手法を提案する。 KGは、コーパス上の(微調整なしで)事前訓練された言語モデルの1つの前方パスで構築されていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T18:01:56Z)
• ENT-DESC: Entity Description Generation by Exploring Knowledge Graph [53.03778194567752]
  実際には、出力記述が最も重要な知識のみをカバーするため、入力知識は十分以上である可能性がある。 我々は、KG-to-textにおけるこのような実践的なシナリオの研究を容易にするために、大規模で挑戦的なデータセットを導入する。 本稿では,元のグラフ情報をより包括的に表現できるマルチグラフ構造を提案する。
  論文  参考訳（メタデータ） (2020-04-30T14:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。