論文の概要: Question Answering over Knowledge Base using Language Model Embeddings

• arxiv url: http://arxiv.org/abs/2010.08883v1
• Date: Sat, 17 Oct 2020 22:59:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 12:06:03.174145
• Title: Question Answering over Knowledge Base using Language Model Embeddings
• Title（参考訳）: 言語モデル埋め込みを用いた知識ベースに関する質問応答
• Authors: Sai Sharath Japa and Rekabdar Banafsheh
• Abstract要約: 本稿では,知識ベース質問回答タスクにおける事前学習言語モデルの利用に焦点を当てる。 さらに,これらの埋め込みを知識ベースから質問まで,双方向の注意機構で微調整した。 提案手法は,質問事項を表現するためのマルチヘッドアテンション機構を備えた,単純な畳み込みニューラルネットワークアーキテクチャに基づいている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Base, represents facts about the world, often in some form of subsumption ontology, rather than implicitly, embedded in procedural code, the way a conventional computer program does. While there is a rapid growth in knowledge bases, it poses a challenge of retrieving information from them. Knowledge Base Question Answering is one of the promising approaches for extracting substantial knowledge from Knowledge Bases. Unlike web search, Question Answering over a knowledge base gives accurate and concise results, provided that natural language questions can be understood and mapped precisely to an answer in the knowledge base. However, some of the existing embedding-based methods for knowledge base question answering systems ignore the subtle correlation between the question and the Knowledge Base (e.g., entity types, relation paths, and context) and suffer from the Out Of Vocabulary problem. In this paper, we focused on using a pre-trained language model for the Knowledge Base Question Answering task. Firstly, we used Bert base uncased for the initial experiments. We further fine-tuned these embeddings with a two-way attention mechanism from the knowledge base to the asked question and from the asked question to the knowledge base answer aspects. Our method is based on a simple Convolutional Neural Network architecture with a Multi-Head Attention mechanism to represent the asked question dynamically in multiple aspects. Our experimental results show the effectiveness and the superiority of the Bert pre-trained language model embeddings for question answering systems on knowledge bases over other well-known embedding methods.
• Abstract（参考訳）: 知識ベース(Knowledge Base)は世界に関する事実を表現し、しばしば暗黙的に手続き的なコードに埋め込まれ、従来のコンピュータプログラムが行うような、ある種の仮定オントロジーで表す。 知識ベースは急速に成長しているが、知識ベースから情報を取得することは困難である。 知識ベース質問応答は、知識ベースから実質的な知識を抽出するための有望なアプローチの1つである。 Web検索とは異なり、知識ベース上の質問回答は、自然言語の質問を理解し、知識ベース内の回答に正確にマッピングできることを前提として、正確で簡潔な結果を与える。 しかし、既存の知識ベース質問応答システムのための埋め込みベース手法のいくつかは、質問と知識ベース(エンティティタイプ、関係パス、コンテキストなど)の間の微妙な相関を無視し、語彙問題に苦しむ。 本稿では,知識ベース質問応答タスクにおける事前学習言語モデルの利用に着目した。 まず、最初の実験にbert baseuncasedを使用しました。 さらに,これらの埋め込みを,知識ベースから質問,質問,知識ベースから回答まで,双方向の注意機構で微調整した。 提案手法は,複数側面の質問を動的に表現するマルチヘッドアテンション機構を備えた,単純な畳み込みニューラルネットワークアーキテクチャに基づいている。 実験の結果, bert事前学習した言語モデルが, 知識ベース上での質問応答システムに対して, 他のよく知られた組込み手法よりも優れていることが示された。

関連論文リスト

• A Knowledge Plug-and-Play Test Bed for Open-domain Dialogue Generation [51.31429493814664]
  マルチソース対話知識の選択と応答生成を評価するために,ウィキペディアのマルチソースウィザードというベンチマークを示す。 本稿では,すでに訓練済みの対話モデルを用いて,未確認の情報源からの新たなサポート知識を利用するための新たな課題である対話知識プラグイン・アンド・プレイを提案する。
  論文  参考訳（メタデータ） (2024-03-06T06:54:02Z)
• A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
  本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。 我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。 提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
  論文  参考訳（メタデータ） (2022-06-30T02:35:04Z)
• Coarse-to-Careful: Seeking Semantic-related Knowledge for Open-domain Commonsense Question Answering [12.406729445165857]
  背景コモンセンスを必要とする質問に機械が答えるのを助けるために、外部知識を利用するのが一般的である。 本稿では,知識注入を粗大から粗大に制御する意味駆動型知識認識型QAフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-04T10:56:36Z)
• Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge [77.77684299758494]
  ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。 まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。 KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
  論文  参考訳（メタデータ） (2021-04-12T05:52:20Z)
• Incremental Knowledge Based Question Answering [52.041815783025186]
  人間と同じように学習能力を段階的に拡張できるインクリメンタルKBQA学習フレームワークを提案します。 具体的には、破滅的な忘れ問題を克服するために、マージン希釈損失と協調選択方法からなる。 包括的な実験は、進化する知識ベースに取り組む際にその効果と効率を示す。
  論文  参考訳（メタデータ） (2021-01-18T09:03:38Z)
• KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA [107.7091094498848]
  VQAの最も難しい質問の1つは、質問に答えるために画像に存在しない外部の知識を必要とする場合です。 本研究では,解答に必要な知識が与えられたり記入されたりしないオープンドメイン知識を,トレーニング時やテスト時にも検討する。 知識表現と推論には2つのタイプがあります。 まず、トランスベースのモデルで教師なし言語事前トレーニングと教師付きトレーニングデータから効果的に学ぶことができる暗黙的な知識。
  論文  参考訳（メタデータ） (2020-12-20T20:13:02Z)
• A Data-Driven Study of Commonsense Knowledge using the ConceptNet Knowledge Base [8.591839265985412]
  汎用人工知能(AI)の実現における重要なフロンティアとして,コモンセンス知識と推論の獲得が認められている。 本稿では,コンセプションネットの知識基盤を実証的かつ構造的に分析することにより,コモンセンス知識のより深い理解を可能にする体系的な研究を提案し,実施する。 最先端の教師なしグラフ表現学習(「埋め込み」)とクラスタリング技術を用いて、慎重に設計された3つの研究課題に関する詳細な実験結果から、ConceptNet関係の深いサブ構造を明らかにする。
  論文  参考訳（メタデータ） (2020-11-28T08:08:25Z)
• Improving Commonsense Question Answering by Graph-based Iterative Retrieval over Multiple Knowledge Sources [26.256653692882715]
  疑問に答えるシステムにおいて、コモンセンスを効果的に活用する方法はまだ検討中である。 本研究では,ConceptNet,Wikipedia,Cambridge Dictionaryを統合した質問応答手法を提案する。 学習済みの言語モデルを用いて、質問を符号化し、知識と選択を検索し、回答の選択を意識した注意機構を提案する。
  論文  参考訳（メタデータ） (2020-11-05T08:50:43Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。