論文の概要: ExBERT: An External Knowledge Enhanced BERT for Natural Language Inference

• arxiv url: http://arxiv.org/abs/2108.01589v1
• Date: Tue, 3 Aug 2021 15:56:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-04 15:36:07.224324
• Title: ExBERT: An External Knowledge Enhanced BERT for Natural Language Inference
• Title（参考訳）: ExBERT: 自然言語推論のための外部知識強化BERT
• Authors: Amit Gajbhiye, Noura Al Moubayed, Steven Bradley
• Abstract要約: 我々は、外部知識強化BERT(ExBERT)と呼ばれる自然言語推論(NLI)の新しいモデルを導入する。 ExBERTは、BERTから得られた文脈表現を最大限に活用し、知識グラフから関連する外部知識を取得する。 我々のモデルは、入力に対する推論に必要な外部知識コンテキストを適応的に組み込む。
• 参考スコア（独自算出の注目度）: 5.188712126001397
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Neural language representation models such as BERT, pre-trained on large-scale unstructured corpora lack explicit grounding to real-world commonsense knowledge and are often unable to remember facts required for reasoning and inference. Natural Language Inference (NLI) is a challenging reasoning task that relies on common human understanding of language and real-world commonsense knowledge. We introduce a new model for NLI called External Knowledge Enhanced BERT (ExBERT), to enrich the contextual representation with real-world commonsense knowledge from external knowledge sources and enhance BERT's language understanding and reasoning capabilities. ExBERT takes full advantage of contextual word representations obtained from BERT and employs them to retrieve relevant external knowledge from knowledge graphs and to encode the retrieved external knowledge. Our model adaptively incorporates the external knowledge context required for reasoning over the inputs. Extensive experiments on the challenging SciTail and SNLI benchmarks demonstrate the effectiveness of ExBERT: in comparison to the previous state-of-the-art, we obtain an accuracy of 95.9% on SciTail and 91.5% on SNLI.
• Abstract（参考訳）: BERTのようなニューラルネットワーク表現モデルは、大規模非構造化コーパスで事前訓練されており、現実世界のコモンセンス知識に明確な根拠がなく、推論や推論に必要な事実を記憶できないことが多い。 自然言語推論(英: natural language inference、nli)は、言語と現実世界の常識知識の共通理解に依存する難しい推論タスクである。 我々は,外部知識源からの実世界のコモンセンス知識による文脈表現を強化し,BERTの言語理解と推論能力を向上させるために,external Knowledge Enhanced BERT (ExBERT) と呼ばれるNLIの新しいモデルを導入する。 ExBERTは、BERTから得られた文脈表現を最大限に活用し、知識グラフから関連する外部知識を取得し、検索した外部知識を符号化する。 我々のモデルは、入力に対する推論に必要な外部知識コンテキストを適応的に組み込む。 挑戦的なSciTailとSNLIベンチマークに関する大規模な実験では、ExBERTの有効性が示され、従来の最先端技術と比較して、SciTailでは95.9%、SNLIでは91.5%の精度が得られた。

関連論文リスト

• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• Knowledge Graph Fusion for Language Model Fine-tuning [0.0]
  BERTの微調整段階における知識導入のメリットについて検討する。 既存のK-BERTモデルは、知識グラフから三つ子で文を豊かにするものであり、英語に適応している。 K-BERTに変更された英語は、他の単語ベースの言語にも拡張されている。
  論文  参考訳（メタデータ） (2022-06-21T08:06:22Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• Does External Knowledge Help Explainable Natural Language Inference? Automatic Evaluation vs. Human Ratings [35.2513653224183]
  自然言語推論(NLI)は、常識知識を学習し応用するためのモデルを必要とする。 外部知識が説明能力を向上させることができるかどうかを考察する。 我々はこれまでで最大かつ最もきめ細かいNLIクラウドソーシング研究を行っている。
  論文  参考訳（メタデータ） (2021-09-16T09:56:20Z)
• Does Knowledge Help General NLU? An Empirical Study [13.305282275999781]
  言語モデルのエンドツーエンド性能を計測し,外部知識の寄与について検討する。 知識の導入は、他のタスクに悪影響を及ぼすことなく、特定のタスクにおける結果を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2021-09-01T18:17:36Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。