論文の概要: Can Open-Domain QA Reader Utilize External Knowledge Efficiently like
Humans?
- arxiv url: http://arxiv.org/abs/2211.12707v1
- Date: Wed, 23 Nov 2022 05:04:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 15:42:08.989275
- Title: Can Open-Domain QA Reader Utilize External Knowledge Efficiently like
Humans?
- Title(参考訳): 外部知識を効果的に活用できるオープンドメインQAリーダー
- Authors: Neeraj Varshney, Man Luo, Chitta Baral
- Abstract要約: オープンドメインのQAリーダーは人間のように外部知識を効率的に活用できることを示す。
本稿では,本手法が読者の「推論効率」と「予測精度」の両方を改善することを実証する。
このアプローチは、読み取り推論コストの18.32%しか利用せず、NQ Openで最大55.10%の精度を達成することで、その精度に匹敵する。
- 参考スコア(独自算出の注目度): 21.715857534855058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent state-of-the-art open-domain QA models are typically based on a two
stage retriever-reader approach in which the retriever first finds the relevant
knowledge/passages and the reader then leverages that to predict the answer.
Prior work has shown that the performance of the reader usually tends to
improve with the increase in the number of these passages. Thus,
state-of-the-art models use a large number of passages (e.g. 100) for
inference. While the reader in this approach achieves high prediction
performance, its inference is computationally very expensive. We humans, on the
other hand, use a more efficient strategy while answering: firstly, if we can
confidently answer the question using our already acquired knowledge then we do
not even use the external knowledge, and in the case when we do require
external knowledge, we don't read the entire knowledge at once, instead, we
only read that much knowledge that is sufficient to find the answer. Motivated
by this procedure, we ask a research question "Can the open-domain QA reader
utilize external knowledge efficiently like humans without sacrificing the
prediction performance?"
Driven by this question, we explore an approach that utilizes both
'closed-book' (leveraging knowledge already present in the model parameters)
and 'open-book' inference (leveraging external knowledge). Furthermore, instead
of using a large fixed number of passages for open-book inference, we
dynamically read the external knowledge in multiple 'knowledge iterations'.
Through comprehensive experiments on NQ and TriviaQA datasets, we demonstrate
that this dynamic reading approach improves both the 'inference efficiency' and
the 'prediction accuracy' of the reader. Comparing with the FiD reader, this
approach matches its accuracy by utilizing just 18.32% of its reader inference
cost and also outperforms it by achieving up to 55.10% accuracy on NQ Open.
- Abstract(参考訳): 最近の最先端のオープンドメインqaモデルは、一般的には2段階のレトリバー-リーダーアプローチに基づいており、レトリバーはまず関連する知識/パスを見つけ、その後読者はそれを利用して回答を予測する。
以前の研究によると、読者のパフォーマンスは通常、これらのパスの数が増えるにつれて改善する傾向にある。
したがって、最先端のモデルは推論に多くの節(例えば100)を使用する。
このアプローチの読者は高い予測性能を達成するが、推論は非常に高価である。
第一に、私たちが既に獲得した知識を使って自信を持って質問に答えることができれば、外部の知識は使わず、外部の知識が必要な場合、その知識全体を一度に読めず、その答えを見つけるのに十分な知識しか読めません。
そこで我々は,「オープンドメインのQA読者は,予測性能を犠牲にすることなく,人間のような外部知識を効率的に活用できるのか?」という研究課題を問う。この課題に乗じて,「クローズドブック」と「オープンブック」推論(外部知識を平均化する)の両方を活用するアプローチを探る。
さらに,オープンブック推論に多くの固定された節を用いる代わりに,複数の「知識イテレーション」で外部知識を動的に読み取る。
nqおよびtriviaqaデータセットに関する包括的実験を通じて,この動的読解手法が,読者の「参照効率」と「予測精度」の両方を改善することを実証する。
fid readerと比較すると、このアプローチは、そのリーダー推論コストの18.32%を活用し、nq openで最大55.10%の精度を達成することで、その精度を上回っている。
関連論文リスト
- MATTER: Memory-Augmented Transformer Using Heterogeneous Knowledge Sources [12.783393023641505]
我々は、MATTERと呼ばれる効率的なメモリ拡張変換器を導入する。
MATTERは、固定長のニューラルメモリの形で、非構造化ソース(パラグラフ)と半構造化ソース(QAペア)の両方から読み取る。
提案モデルでは,従来のQAベンチマークにおいて,精度と速度の両面で,既存の効率的な検索強化モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2024-06-07T06:35:37Z) - Towards Better Generalization in Open-Domain Question Answering by Mitigating Context Memorization [67.92796510359595]
Open-Domain Question Answering (OpenQA)は、外部の大規模知識コーパスで事実質問に答えることを目的としている。
OpenQAモデルが完全に新しい知識ドメインにどの程度うまく移行できるかは、まだ不明である。
コーパス不変チューニング(CIT: Corpus-Invariant Tuning)は,記憶過剰な知識の軽減を目的とした,シンプルで効果的なトレーニング戦略である。
論文 参考訳(メタデータ) (2024-04-02T05:44:50Z) - Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。
COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2023-10-22T19:37:06Z) - Utilizing Background Knowledge for Robust Reasoning over Traffic
Situations [63.45021731775964]
我々は、インテリジェントトランスポーテーションの補完的な研究側面である交通理解に焦点を当てる。
本研究は,豊富なコモンセンス知識を前提として,テキストベースの手法とデータセットを対象とする。
交通状況に対するゼロショットQAには3つの知識駆動アプローチを採用しています。
論文 参考訳(メタデータ) (2022-12-04T09:17:24Z) - Context Generation Improves Open Domain Question Answering [102.34183939011352]
関連知識を抽出し,質問に答えるために,粗大なアプローチを用いる2段階のクローズドブックQAフレームワークを提案する。
本手法は,学習可能なパラメータの追加や微調整を必要とせずに,事前学習したLMの知識をうまく活用することができる。
論文 参考訳(メタデータ) (2022-10-12T16:00:50Z) - Grape: Knowledge Graph Enhanced Passage Reader for Open-domain Question
Answering [36.85435188308579]
オープンドメイン質問応答(QA)モデルの一般的なスレッドは、最初にWikipediaからいくつかの関連するパスを検索するレトリバー・リーダー・パイプラインを使用している。
オープンドメインQAの読み出し性能を改善するため,グラフ拡張パスリーダ,すなわちGrapeを提案する。
論文 参考訳(メタデータ) (2022-10-06T14:06:04Z) - A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。
我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。
提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
論文 参考訳(メタデータ) (2022-06-30T02:35:04Z) - KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。
提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。
我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
論文 参考訳(メタデータ) (2021-12-16T04:37:10Z) - End-to-End Training of Neural Retrievers for Open-Domain Question
Answering [32.747113232867825]
ニューラルレトリバーに対して、非監視および監督された方法が最も効果的に使用できるかは不明である。
Inverse Cloze Taskとマスク付きサラエントスパンによる教師なしプリトレーニングのアプローチを提案します。
また,OpenQAモデルにおけるリーダとレシーバコンポーネントのエンドツーエンド教師付きトレーニングのための2つのアプローチについても検討する。
論文 参考訳(メタデータ) (2021-01-02T09:05:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。