論文の概要: GreaseLM: Graph REASoning Enhanced Language Models for Question Answering

• arxiv url: http://arxiv.org/abs/2201.08860v1
• Date: Fri, 21 Jan 2022 19:00:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-29 10:41:39.498873
• Title: GreaseLM: Graph REASoning Enhanced Language Models for Question Answering
• Title（参考訳）: GreaseLM: 質問応答のための拡張言語モデルを提供するグラフ
• Authors: Xikun Zhang, Antoine Bosselut, Michihiro Yasunaga, Hongyu Ren, Percy Liang, Christopher D. Manning, Jure Leskovec
• Abstract要約: GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
• 参考スコア（独自算出の注目度）: 159.9645181522436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Answering complex questions about textual narratives requires reasoning over both stated context and the world knowledge that underlies it. However, pretrained language models (LM), the foundation of most modern QA systems, do not robustly represent latent relationships between concepts, which is necessary for reasoning. While knowledge graphs (KG) are often used to augment LMs with structured representations of world knowledge, it remains an open question how to effectively fuse and reason over the KG representations and the language context, which provides situational constraints and nuances. In this work, we propose GreaseLM, a new model that fuses encoded representations from pretrained LMs and graph neural networks over multiple layers of modality interaction operations. Information from both modalities propagates to the other, allowing language context representations to be grounded by structured world knowledge, and allowing linguistic nuances (e.g., negation, hedging) in the context to inform the graph representations of knowledge. Our results on three benchmarks in the commonsense reasoning (i.e., CommonsenseQA, OpenbookQA) and medical question answering (i.e., MedQA-USMLE) domains demonstrate that GreaseLM can more reliably answer questions that require reasoning over both situational constraints and structured knowledge, even outperforming models 8x larger.
• Abstract（参考訳）: テキストの物語に関する複雑な疑問に答えるには、記述された文脈とそれを支える世界的知識の両方を推論する必要がある。 しかし、ほとんどの現代のqaシステムの基礎である事前学習言語モデル(lm)は、推論に必要な概念間の潜在関係を堅牢に表現していない。 知識グラフ(KG)は、世界知識の構造化された表現でLMを拡張するためにしばしば用いられるが、KG表現と言語コンテキストを効果的に融合し、推論する方法は、状況制約とニュアンスを提供するオープンな疑問である。 本稿では,事前学習されたlmsおよびグラフニューラルネットワークの符号化表現を複数のモダリティ相互作用操作層に融合する新しいモデルであるgraselmを提案する。 両方のモダリティからの情報は互いに伝播し、言語コンテキストの表現が構造化された世界知識によって基礎化され、文脈内の言語ニュアンス(例えば否定、ヘッジ)が知識のグラフ表現に通知される。 コモンセンス推論(CommonsenseQA,OpenbookQA)と医療質問応答(MedQA-USMLE)の3つのベンチマークの結果から、GreaseLMは、状況制約と構造的知識の両方に対する推論を必要とする質問に対して、モデルよりも8倍の精度で回答できることを示した。

関連論文リスト

• Relation-aware Language-Graph Transformer for Question Answering [21.244992938222246]
  本稿では,言語とグラフを関連づける質問応答変換器(QAT, Question Answering Transformer)を提案する。 具体的には、QATはメタパストークンを構築し、多様な構造的および意味的関係に基づいて関係中心の埋め込みを学習する。 我々は,CommonsenseQA や OpenBookQA などの常識質問応答データセットと,医療質問応答データセット MedQA-USMLE について,QAT の有効性を検証する。
  論文  参考訳（メタデータ） (2022-12-02T05:10:10Z)
• Empowering Language Models with Knowledge Graph Reasoning for Question Answering [117.79170629640525]
  我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。 OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。 クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-15T18:26:26Z)
• Flexible and Structured Knowledge Grounded Question Answering [0.23068481501673416]
  本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。 具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。 そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
  論文  参考訳（メタデータ） (2022-09-17T08:48:50Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering [122.84513233992422]
  学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。 既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
  論文  参考訳（メタデータ） (2021-04-13T17:32:51Z)
• KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA [107.7091094498848]
  VQAの最も難しい質問の1つは、質問に答えるために画像に存在しない外部の知識を必要とする場合です。 本研究では,解答に必要な知識が与えられたり記入されたりしないオープンドメイン知識を,トレーニング時やテスト時にも検討する。 知識表現と推論には2つのタイプがあります。 まず、トランスベースのモデルで教師なし言語事前トレーニングと教師付きトレーニングデータから効果的に学ぶことができる暗黙的な知識。
  論文  参考訳（メタデータ） (2020-12-20T20:13:02Z)
• Fusing Context Into Knowledge Graph for Commonsense Reasoning [21.33294077354958]
  外部エンティティ記述を利用して,グラフエンティティのコンテキスト情報を提供する。 CommonsenseQAタスクでは、まず質問と選択から概念を抽出し、これらの概念の間に関連するトリプルを見つけます。 CommonsenseQAデータセットでは、80.7%(シングルモデル)と83.3%(アンサンブルモデル)の精度で最新の結果を達成しています。
  論文  参考訳（メタデータ） (2020-12-09T00:57:49Z)
• JAKET: Joint Pre-training of Knowledge Graph and Language Understanding [73.43768772121985]
  本稿では,知識グラフと言語の両方をモデル化する新しい事前学習フレームワークであるJAKETを提案する。 知識モジュールと言語モジュールは相互に支援するための重要な情報を提供する。 我々の設計により、事前学習されたモデルは、新しいドメインの見知らぬ知識グラフに容易に適応できる。
  論文  参考訳（メタデータ） (2020-10-02T05:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。