論文の概要: Answering Open-Domain Questions of Varying Reasoning Steps from Text
- arxiv url: http://arxiv.org/abs/2010.12527v4
- Date: Fri, 29 Oct 2021 15:12:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 22:42:57.368811
- Title: Answering Open-Domain Questions of Varying Reasoning Steps from Text
- Title(参考訳): テキストから様々な推論ステップのオープンドメイン質問への回答
- Authors: Peng Qi, Haejun Lee, Oghenetegiri "TG" Sido, Christopher D. Manning
- Abstract要約: 我々は,テキストのオープンドメイン質問から直接回答する統一システムを開発した。
我々は、必要なすべてのサブタスクを実行するために、単一のマルチタスクトランスモデルを用いる。
我々のモデルは既存のベンチマークとこの新しいベンチマークの両方で競合性能を示す。
- 参考スコア(独自算出の注目度): 39.48011017748654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a unified system to answer directly from text open-domain
questions that may require a varying number of retrieval steps. We employ a
single multi-task transformer model to perform all the necessary subtasks --
retrieving supporting facts, reranking them, and predicting the answer from all
retrieved documents -- in an iterative fashion. We avoid crucial assumptions of
previous work that do not transfer well to real-world settings, including
exploiting knowledge of the fixed number of retrieval steps required to answer
each question or using structured metadata like knowledge bases or web links
that have limited availability. Instead, we design a system that can answer
open-domain questions on any text collection without prior knowledge of
reasoning complexity. To emulate this setting, we construct a new benchmark,
called BeerQA, by combining existing one- and two-step datasets with a new
collection of 530 questions that require three Wikipedia pages to answer,
unifying Wikipedia corpora versions in the process. We show that our model
demonstrates competitive performance on both existing benchmarks and this new
benchmark. We make the new benchmark available at https://beerqa.github.io/.
- Abstract(参考訳): 我々は,様々な検索手順を必要とするテキストのオープンドメイン質問から直接回答する統一システムを開発した。
私たちは、1つのマルチタスクトランスフォーマーモデルを使用して、必要なすべてのサブタスク – サポートファクトの検索、リストア、検索されたすべてのドキュメントからの回答の予測 — を反復的に実行する。
私たちは、各質問に答えるために必要な一定数の検索ステップの知識の活用や、可用性の低い知識ベースやwebリンクなどの構造化メタデータの使用など、現実世界の設定にうまく移行しない以前の作業の重要な仮定を避けます。
代わりに、推論の複雑さを事前に知ることなく、任意のテキストコレクションのオープンドメイン質問に答えるシステムを設計する。
この設定をエミュレートするために、既存の1段階と2段階のデータセットと3つのウィキペディアページを必要とする530の質問のコレクションを組み合わせることで、BeerQAと呼ばれる新しいベンチマークを構築し、その過程でウィキペディアのコーパスバージョンを統一する。
我々のモデルは既存のベンチマークとこの新しいベンチマークの両方で競合性能を示す。
新しいベンチマークはhttps://beerqa.github.io/で利用可能です。
関連論文リスト
- Hierarchical Retrieval-Augmented Generation Model with Rethink for Multi-hop Question Answering [24.71247954169364]
マルチホップ質問回答 (Multi-hop Question Answering, QA) は、複雑な質問を解決するために複数の情報を統合することで複雑な推論を必要とする。
既存のQAシステムは、時代遅れの情報、コンテキストウィンドウの長さ制限、精度-量トレードオフといった課題に直面する。
本稿では,Decomposer,Definer,Retriever,Filter,Summarizerの5つのキーモジュールからなる,階層型検索拡張生成モデル(HiRAG)を提案する。
論文 参考訳(メタデータ) (2024-08-20T09:29:31Z) - QUADRo: Dataset and Models for QUestion-Answer Database Retrieval [97.84448420852854]
質問/回答(q/a)ペアのデータベース(DB)が与えられた場合、同じ質問に対してDBをスキャンすることで、対象の質問に答えることができる。
我々は6.3Mのq/aペアからなる大規模DBを構築し、公開質問を用いて、ニューラルIRとq/aペアリランカに基づく新しいシステムを設計する。
我々は、Bing検索エンジン上に構築されたQAシステムという、Webベースの手法とDBベースのアプローチが競合することを示す。
論文 参考訳(メタデータ) (2023-03-30T00:42:07Z) - Open-domain Question Answering via Chain of Reasoning over Heterogeneous
Knowledge [82.5582220249183]
異種知識ソース間のシングル/マルチホップ質問に応答する新しいオープンドメイン質問応答(ODQA)フレームワークを提案する。
分離された証拠を収集するためにレトリバーにのみ依存する従来の方法とは異なり、我々の仲介者は検索された集合に対する推論の連鎖を実行する。
本システムは,2つのODQAデータセットであるOTT-QAとNQに対して,Wikipediaの表や節に対する競合性能を実現する。
論文 参考訳(メタデータ) (2022-10-22T03:21:32Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳(メタデータ) (2022-09-21T01:30:59Z) - Adaptive Information Seeking for Open-Domain Question Answering [61.39330982757494]
本稿では,オープンドメイン質問応答,すなわちAISOに対する適応型情報探索手法を提案する。
学習方針によると、AISOは適切な検索行動を選択し、各ステップで行方不明の証拠を探すことができる。
AISOは、検索と回答の評価の両方の観点から、事前定義された戦略で全てのベースライン手法を上回ります。
論文 参考訳(メタデータ) (2021-09-14T15:08:13Z) - MK-SQuIT: Synthesizing Questions using Iterative Template-filling [0.0]
我々は、できるだけ少ない人間の入力で、質問/問い合わせペアを合成的に生成するフレームワークを作成します。
これらのデータセットは、自然言語の質問をクエリに変換するために、機械翻訳システムのトレーニングに使用することができる。
論文 参考訳(メタデータ) (2020-11-04T22:33:05Z) - Answering Any-hop Open-domain Questions with Iterative Document
Reranking [62.76025579681472]
オープンドメインの問に答える統合QAフレームワークを提案する。
提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
論文 参考訳(メタデータ) (2020-09-16T04:31:38Z) - Revisiting the Open-Domain Question Answering Pipeline [0.23204178451683266]
本稿では,新たなマルチステージパイプラインで構成されるオープンドメインQAシステムであるMindstoneについて述べる。
我々は,新しいパイプラインが低解像度ラベルの使用を可能にし,様々なタイミング要求を満たすように容易に調整できることを示す。
論文 参考訳(メタデータ) (2020-09-02T09:34:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。