論文の概要: TWEAC: Transformer with Extendable QA Agent Classifiers
- arxiv url: http://arxiv.org/abs/2104.07081v1
- Date: Wed, 14 Apr 2021 19:06:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-17 08:23:37.046979
- Title: TWEAC: Transformer with Extendable QA Agent Classifiers
- Title(参考訳): TWEAC:拡張型QAエージェント分類器
- Authors: Gregor Geigle and Nils Reimers and Andreas R\"uckl\'e and Iryna
Gurevych
- Abstract要約: 文献には多岐にわたる専門的なQAエージェントが存在すると論じる。
したがって、特定の質問に適したQAエージェントを効率的かつ効率的に特定する方法に関する中央研究の質問に対処します。
TWEACが94%の精度で総合的に最高のパフォーマンスを達成できることを実証し、この課題に対処するための監督されたアプローチと監督されていないアプローチの両方を研究します。
- 参考スコア(独自算出の注目度): 46.53093713855772
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Question answering systems should help users to access knowledge on a broad
range of topics and to answer a wide array of different questions. Most systems
fall short of this expectation as they are only specialized in one particular
setting, e.g., answering factual questions with Wikipedia data. To overcome
this limitation, we propose composing multiple QA agents within a meta-QA
system. We argue that there exist a wide range of specialized QA agents in
literature. Thus, we address the central research question of how to
effectively and efficiently identify suitable QA agents for any given question.
We study both supervised and unsupervised approaches to address this challenge,
showing that TWEAC - Transformer with Extendable Agent Classifiers - achieves
the best performance overall with 94% accuracy. We provide extensive insights
on the scalability of TWEAC, demonstrating that it scales robustly to over 100
QA agents with each providing just 1000 examples of questions they can answer.
- Abstract(参考訳): 質問応答システムは、ユーザが幅広いトピックに関する知識にアクセスし、さまざまな質問に回答するのに役立ちます。
ほとんどのシステムは、ウィキペディアのデータで事実の質問に答えるなど、特定の設定のみに特化しているため、この期待には届かない。
この制限を克服するために,メタQAシステム内で複数のQAエージェントを構成することを提案する。
文献には多岐にわたる専門的なQAエージェントが存在すると論じる。
そこで我々は,特定の質問に対して適切なqaエージェントを効果的かつ効率的に特定する方法に関する中心的な研究課題を提起する。
エージェント分類器を拡張可能なトランスフォーマーであるtweacが全体の94%の精度で最高の性能を達成できることを示し,教師なしと教師なしの両方のアプローチを検証した。
TWEACのスケーラビリティに関する広範な洞察を提供し、100以上のQAエージェントに堅牢にスケールできることを示し、それぞれが答えられる質問のたった1000の例を提供しています。
関連論文リスト
- ProQA: Structural Prompt-based Pre-training for Unified Question
Answering [84.59636806421204]
ProQAは統一されたQAパラダイムであり、単一のモデルによって様々なタスクを解決する。
全てのQAタスクの知識一般化を同時にモデル化し、特定のQAタスクの知識カスタマイズを維持します。
ProQAは、フルデータの微調整、数ショットの学習、ゼロショットテストシナリオの両方のパフォーマンスを一貫して向上させる。
論文 参考訳(メタデータ) (2022-05-09T04:59:26Z) - ASQA: Factoid Questions Meet Long-Form Answers [35.11889930792675]
この研究は、解釈によって異なる正しい答えを持つ、あいまいな事実型問題に焦点を当てている。
曖昧な質問に対する回答は、複数の情報源からの事実情報を長文の要約にまとめるべきである。
我々は、この正確性の概念を用いて、ASQAのパフォーマンスの自動測定基準を定義します。
論文 参考訳(メタデータ) (2022-04-12T21:58:44Z) - UKP-SQUARE: An Online Platform for Question Answering Research [50.35348764297317]
我々は、研究者向けのオンラインQAプラットフォームであるUKP-SQUAREを紹介した。
UKP-SQUAREでは、ユーザフレンドリーなWebインターフェースと統合テストを通じて、モダンスキルの大規模なコレクションをクエリし、分析することができる。
論文 参考訳(メタデータ) (2022-03-25T15:00:24Z) - NoiseQA: Challenge Set Evaluation for User-Centric Question Answering [68.67783808426292]
応答エンジンに先立つパイプライン内のコンポーネントが,多種多様なエラーの原因を発生させることができることを示す。
我々は、QAシステムが効果的にデプロイされる前に、進歩の余地がかなりあると結論付けている。
論文 参考訳(メタデータ) (2021-02-16T18:35:29Z) - Summary-Oriented Question Generation for Informational Queries [23.72999724312676]
主文書のトピックに焦点をあてた自己説明的質問を,適切な長さのパスで答えられるようにすることを目的としている。
本モデルでは,NQデータセット(20.1BLEU-4)上でのSQ生成のSOTA性能を示す。
我々はさらに,本モデルをドメイン外のニュース記事に適用し,ゴールド質問の欠如によるQAシステムによる評価を行い,私たちのモデルがニュース記事に対してより良いSQを生成することを実証し,人間による評価によるさらなる確認を行う。
論文 参考訳(メタデータ) (2020-10-19T17:30:08Z) - Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
教師なし質問回答(QA)を改善するための2つのアプローチを提案する。
まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。
第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
論文 参考訳(メタデータ) (2020-05-06T15:56:06Z) - Unsupervised Question Decomposition for Question Answering [102.56966847404287]
本論文では, ワンツーNアン教師付きシーケンスシーケンス(ONUS)のアルゴリズムを提案する。
当初,ドメイン外,マルチホップ開発セットのベースラインが強かったため,HotpotQAでは大きなQA改善が見られた。
論文 参考訳(メタデータ) (2020-02-22T19:40:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。