Fugu-MT 論文翻訳(概要): AGent: A Novel Pipeline for Automatically Creating Unanswerable Questions

論文の概要: AGent: A Novel Pipeline for Automatically Creating Unanswerable Questions

arxiv url: http://arxiv.org/abs/2309.05103v1
Date: Sun, 10 Sep 2023 18:13:11 GMT
ステータス: 処理完了
システム内更新日: 2023-09-12 14:38:04.388886
Title: AGent: A Novel Pipeline for Automatically Creating Unanswerable Questions
Title（参考訳）: agent: 答えられない質問を自動的に生成する新しいパイプライン
Authors: Son Quoc Tran, Gia-Huy Do, Phong Nguyen-Thuan Do, Matt Kretchmar, Xinya Du
Abstract要約: 我々は、質問を正しい回答に必要な情報を持たないコンテキストで再マッチングすることで、新しい解決不可能な質問を生成する新しいパイプラインであるAGentを提案する。本稿では,SQuAD と HotpotQA の解答可能な質問から2組の解答不可能な質問を生成することにより,この AGent パイプラインの有用性を実証する。
参考スコア（独自算出の注目度）: 10.272000561545331
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: The development of large high-quality datasets and high-performing models have led to significant advancements in the domain of Extractive Question Answering (EQA). This progress has sparked considerable interest in exploring unanswerable questions within the EQA domain. Training EQA models with unanswerable questions helps them avoid extracting misleading or incorrect answers for queries that lack valid responses. However, manually annotating unanswerable questions is labor-intensive. To address this, we propose AGent, a novel pipeline that automatically creates new unanswerable questions by re-matching a question with a context that lacks the necessary information for a correct answer. In this paper, we demonstrate the usefulness of this AGent pipeline by creating two sets of unanswerable questions from answerable questions in SQuAD and HotpotQA. These created question sets exhibit low error rates. Additionally, models fine-tuned on these questions show comparable performance with those fine-tuned on the SQuAD 2.0 dataset on multiple EQA benchmarks.
Abstract（参考訳）: 大規模な高品質データセットと高性能モデルの開発は、抽出質問回答(EQA)分野において大きな進歩をもたらした。この進歩は、EQAドメイン内で解決不可能な質問を探索することに大きな関心を呼んだ。疑問の余地のないEQAモデルのトレーニングは、有効な応答が欠けているクエリに対して、誤解を招く、あるいは誤った回答を抽出するのを避けるのに役立つ。しかし、手作業で説明できない質問は労働集約的である。そこで本研究では,質問を適切な回答に必要な情報を持たないコンテキストで再マッチングすることで,解決不可能な質問を自動的に生成する新しいパイプラインであるAGentを提案する。本稿では,SQuAD と HotpotQA の解答可能な質問から2組の解答不可能な質問を生成することにより,この AGent パイプラインの有用性を実証する。これらの質問セットは低いエラー率を示す。さらに、これらの質問に微調整されたモデルは、複数のEQAベンチマークでSQuAD 2.0データセットに微調整されたモデルと同等のパフォーマンスを示している。

関連論文リスト

Long-form Question Answering: An Iterative Planning-Retrieval-Generation Approach [28.849548176802262]
長文質問応答(LFQA)は,段落の形で詳細な回答を生成するため,課題となる。本稿では,反復計画,検索,生成を伴うLFQAモデルを提案する。我々のモデルはLFQAタスクの様々なテキストおよび実測値の最先端モデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-15T21:22:27Z)
Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions [95.92276099234344]
ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
論文参考訳（メタデータ） (2023-08-16T20:23:16Z)
Two-Step Question Retrieval for Open-Domain QA [27.37731471419776]
retriever-readerパイプラインは、オープンドメインのQAで有望なパフォーマンスを示しているが、非常に遅い推論速度に悩まされている。近年,質問回答ペアを索引付け,類似した質問を検索することで,この問題に対処するモデルが提案されている。 SQuIDは、既存の質問検索モデルの性能を大幅に向上させ、推論速度に無視できない損失を与える。
論文参考訳（メタデータ） (2022-05-19T08:46:14Z)
Co-VQA : Answering by Interactive Sub Question Sequence [18.476819557695087]
本稿では,質問者,Oracle,Answererの3つのコンポーネントからなる対話型VQAフレームワークを提案する。モデル毎に教師あり学習を行うために,VQA 2.0 と VQA-CP v2 データセット上で,各質問に対する SQS を構築する方法を提案する。
論文参考訳（メタデータ） (2022-04-02T15:09:16Z)
Relation-Guided Pre-Training for Open-Domain Question Answering [67.86958978322188]
複雑なオープンドメイン問題を解決するためのRGPT-QA(Relation-Guided Pre-Training)フレームワークを提案する。 RGPT-QAは, 自然質問, TriviaQA, WebQuestionsにおいて, Exact Matchの精度が2.2%, 2.4%, 6.3%向上したことを示す。
論文参考訳（メタデータ） (2021-09-21T17:59:31Z)
GooAQ: Open Question Answering with Diverse Answer Types [63.06454855313667]
さまざまな回答型を持つ大規模データセットであるGooAQを紹介する。このデータセットには500万の質問と300万の回答が含まれている。
論文参考訳（メタデータ） (2021-04-18T05:40:39Z)
OneStop QAMaker: Extract Question-Answer Pairs from Text in a One-Stop Approach [11.057028572260064]
本論文では,文書からQAペアを生成するOneStopというモデルを提案する。具体的には、質問と対応する回答を同時に抽出する。 OneStopは、複雑なQA生成タスクを解決するために1つのモデルしか必要としないため、産業シナリオでトレーニングやデプロイを行うのがずっと効率的です。
論文参考訳（メタデータ） (2021-02-24T08:45:00Z)
Summary-Oriented Question Generation for Informational Queries [23.72999724312676]
主文書のトピックに焦点をあてた自己説明的質問を,適切な長さのパスで答えられるようにすることを目的としている。本モデルでは,NQデータセット(20.1BLEU-4)上でのSQ生成のSOTA性能を示す。我々はさらに,本モデルをドメイン外のニュース記事に適用し,ゴールド質問の欠如によるQAシステムによる評価を行い,私たちのモデルがニュース記事に対してより良いSQを生成することを実証し,人間による評価によるさらなる確認を行う。
論文参考訳（メタデータ） (2020-10-19T17:30:08Z)
Tell Me How to Ask Again: Question Data Augmentation with Controllable Rewriting in Continuous Space [94.8320535537798]
機械読解(MRC)、質問生成、質問答え自然言語推論タスクのための制御可能な書き換えベースの質問データ拡張(CRQDA)。質問データ拡張タスクを制約付き質問書き換え問題として扱い、コンテキスト関連、高品質、多様な質問データサンプルを生成する。
論文参考訳（メタデータ） (2020-10-04T03:13:46Z)
AmbigQA: Answering Ambiguous Open-domain Questions [99.59747941602684]
我々はAmbigQAを紹介した。AmbigQAは、あらゆる可能な答えを見つけることを含む、新しいオープンドメインの質問応答タスクである。この課題を研究するために,NQ-openから14,042質問をカバーしたデータセットAmbigNQを構築した。 NQオープンの質問の半数以上が曖昧で、イベントやエンティティ参照といった曖昧さの源泉が多様であることがわかった。
論文参考訳（メタデータ） (2020-04-22T15:42:13Z)
SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions [66.86887670416193]
現状のVQAモデルでは、知覚や推論の問題に答える上で同等の性能を持つが、一貫性の問題に悩まされていることを示す。この欠点に対処するため、サブクエスト対応ネットワークチューニング(SQuINT)というアプローチを提案する。我々は,SQuINTがモデル一貫性を5%向上し,VQAにおける推論問題の性能も改善し,注意マップも改善したことを示す。
論文参考訳（メタデータ） (2020-01-20T01:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。