論文の概要: FQuAD2.0: French Question Answering and knowing that you know nothing
- arxiv url: http://arxiv.org/abs/2109.13209v1
- Date: Mon, 27 Sep 2021 17:30:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-28 16:02:51.545633
- Title: FQuAD2.0: French Question Answering and knowing that you know nothing
- Title（参考訳）: FQuAD2.0: フランス語の質問に答えて、何も知らないことを知る
- Authors: Quentin Heinrich, Gautier Viaud, Wacim Belblidia
- Abstract要約: 我々は FQuAD2.0 を導入し, FQuAD を 17,000 以上の質問で拡張する。
このデータセットは、解答不可能な質問と解答不能な質問を区別する機能を備えた、フレンチ質問回答モデルのトレーニングを可能にする。
- 参考スコア（独自算出の注目度）: 0.25782420501870296
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Question Answering, including Reading Comprehension, is one of the NLP
research areas that has seen significant scientific breakthroughs over the past
few years, thanks to the concomitant advances in Language Modeling. Most of
these breakthroughs, however, are centered on the English language. In 2020, as
a first strong initiative to bridge the gap to the French language, Illuin
Technology introduced FQuAD1.1, a French Native Reading Comprehension dataset
composed of 60,000+ questions and answers samples extracted from Wikipedia
articles. Nonetheless, Question Answering models trained on this dataset have a
major drawback: they are not able to predict when a given question has no
answer in the paragraph of interest, therefore making unreliable predictions in
various industrial use-cases. In the present work, we introduce FQuAD2.0, which
extends FQuAD with 17,000+ unanswerable questions, annotated adversarially, in
order to be similar to answerable ones. This new dataset, comprising a total of
almost 80,000 questions, makes it possible to train French Question Answering
models with the ability of distinguishing unanswerable questions from
answerable ones. We benchmark several models with this dataset: our best model,
a fine-tuned CamemBERT-large, achieves a F1 score of 82.3% on this
classification task, and a F1 score of 83% on the Reading Comprehension task.
- Abstract（参考訳）: Reading Comprehensionを含む質問回答は、言語モデリングの類似した進歩のおかげで、ここ数年で大きな科学的ブレークスルーを経験してきたNLP研究分野の1つである。
しかし、これらのブレークスルーのほとんどは英語を中心にしている。
2020年、フランス語とのギャップを埋める最初の強力な取り組みとして、iluin technologyは6万以上の質問とwikipediaの記事から抽出された回答からなるフランス語ネイティブの読解データセットであるfquad1.1を導入した。
それでも、このデータセットでトレーニングされた質問回答モデルは大きな欠点があり、ある質問が関心事の段落に答えがないかどうかを予測できないため、様々な産業ユースケースにおいて信頼性の低い予測を行うことができる。
本研究では, FQuAD2.0 を導入し, FQuAD を 17,000 以上の解答不可能な質問で拡張し, 反対方向に注釈を付け, 答え可能な質問に類似させる。
この新しいデータセットは、約8万の質問で構成されており、フランス語の質問応答モデルに、答えられない質問と答えられる質問を区別する能力を持たせることができる。
私たちの最良のモデルである、微調整されたcamimbert-largeは、この分類タスクでf1スコア82.3%、読み取り理解タスクでf1スコア83%を達成しています。
関連論文リスト
- Can a Multichoice Dataset be Repurposed for Extractive Question Answering? [52.28197971066953]
我々は,Multiple-choice Question answering (MCQA)のために設計されたBandarkar et al.(Bandarkar et al., 2023)を再利用した。
本稿では,英語と現代標準アラビア語(MSA)のためのガイドラインと並列EQAデータセットを提案する。
私たちの目標は、ベレベレにおける120以上の言語変異に対して、他者が私たちのアプローチを適応できるようにすることです。
論文 参考訳（メタデータ） (2024-04-26T11:46:05Z) - Learn to Explain: Multimodal Reasoning via Thought Chains for Science
Question Answering [124.16250115608604]
本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。
また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。
我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
論文 参考訳（メタデータ） (2022-09-20T07:04:24Z) - Question Generation for Reading Comprehension Assessment by Modeling How
and What to Ask [3.470121495099]
本研究では,推論的質問が重要となる読解のための質問生成(QG)について検討する。
本稿では,従来のデータセットを利用した2段階モデル(HTA-WTA)を提案する。
HTA-WTAモデルでは,深い推論を問うことで,強いSCRSの検証を行う。
論文 参考訳（メタデータ） (2022-04-06T15:52:24Z) - PQuAD: A Persian Question Answering Dataset [0.0]
ペルシア語ウィキペディアの記事のクラウドソース読解データセット。
80,000の質問と回答があり、25%の質問は反対に答えられない。
最先端の事前学習言語モデルに対する実験では,74.8%のエクサクトマッチ (EM) と87.6%のF1スコアが得られた。
論文 参考訳（メタデータ） (2022-02-13T05:42:55Z) - TAT-QA: A Question Answering Benchmark on a Hybrid of Tabular and
Textual Content in Finance [71.76018597965378]
TAT-QAと呼ばれるタブラデータとテクスチャデータの両方を含む新しい大規模な質問応答データセットを構築します。
本稿では,テーブルとテキストの両方を推論可能な新しいQAモデルであるTAGOPを提案する。
論文 参考訳（メタデータ） (2021-05-17T06:12:06Z) - MultiModalQA: Complex Question Answering over Text, Tables and Images [52.25399438133274]
テキスト,テーブル,画像に対する共同推論を必要とするデータセットであるMultiModalQAを提案する。
大規模で複雑なマルチモーダル質問を生成するための新しいフレームワークを使用してMMQAを作成します。
次に、単一のモダリティから回答できる質問を受け取り、それらを組み合わせてクロスモーダルな質問を生成する形式言語を定義します。
論文 参考訳（メタデータ） (2021-04-13T09:14:28Z) - IIRC: A Dataset of Incomplete Information Reading Comprehension
Questions [53.3193258414806]
我々は、英語Wikipediaの段落に13K以上の質問があるIIRCというデータセットを提示する。
質問は、リンクされた文書にアクセスできなかった群衆労働者によって書かれた。
我々は、このデータセットのベースラインモデルを構築するために、様々な読解データセットに関する最近のモデリング作業に従う。
論文 参考訳（メタデータ） (2020-11-13T20:59:21Z) - Challenges in Information-Seeking QA: Unanswerable Questions and
Paragraph Retrieval [46.3246135936476]
情報検索クエリの応答がより難しい理由と,その原因を解析する。
制御実験の結果,2つのヘッドルーム – 段落選択と応答可能性予測 – が示唆された。
私たちは6つの言語で800の未解決例を手動で注釈付けします。
論文 参考訳（メタデータ） (2020-10-22T17:48:17Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳（メタデータ） (2020-10-04T19:03:39Z) - The Inception Team at NSURL-2019 Task 8: Semantic Question Similarity in
Arabic [0.76146285961466]
本稿では,アラビア語における意味的質問類似性の課題について述べる。
目的は、提供されたデータセットに対して、アラビア語で同様の意味論を検出できるモデルを構築することである。
論文 参考訳（メタデータ） (2020-04-24T19:52:40Z) - FQuAD: French Question Answering Dataset [0.4759823735082845]
フランス語質問回答データセット(FQuAD)について紹介する。
FQuADは、ウィキペディアの記事の集合に関する質問と回答のフランス語のNative Readingデータセットである。
テストセット上でF1スコア92.2、正確なマッチング比82.1を達成するベースラインモデルを訓練する。
論文 参考訳（メタデータ） (2020-02-14T15:23:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。