論文の概要: A Vietnamese Dataset for Evaluating Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2009.14725v3
• Date: Sat, 7 Nov 2020 06:40:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 23:26:02.455081
• Title: A Vietnamese Dataset for Evaluating Machine Reading Comprehension
• Title（参考訳）: 機械読解評価のためのベトナム語データセット
• Authors: Kiet Van Nguyen, Duc-Vu Nguyen, Anh Gia-Tuan Nguyen, Ngan Luu-Thuy Nguyen
• Abstract要約: ベトナム語として低リソース言語のための新しいデータセットであるUIT-ViQuADを提案する。 このデータセットは、ウィキペディアから174のベトナム語記事の5,109節に基づいて、23,000人以上の人が生成した質問応答ペアで構成されている。 UIT-ViQuADの最初の実験モデルとして、英語と中国語の最先端MRC手法の実験を行った。
• 参考スコア（独自算出の注目度）: 2.7528170226206443
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Over 97 million people speak Vietnamese as their native language in the world. However, there are few research studies on machine reading comprehension (MRC) for Vietnamese, the task of understanding a text and answering questions related to it. Due to the lack of benchmark datasets for Vietnamese, we present the Vietnamese Question Answering Dataset (UIT-ViQuAD), a new dataset for the low-resource language as Vietnamese to evaluate MRC models. This dataset comprises over 23,000 human-generated question-answer pairs based on 5,109 passages of 174 Vietnamese articles from Wikipedia. In particular, we propose a new process of dataset creation for Vietnamese MRC. Our in-depth analyses illustrate that our dataset requires abilities beyond simple reasoning like word matching and demands single-sentence and multiple-sentence inferences. Besides, we conduct experiments on state-of-the-art MRC methods for English and Chinese as the first experimental models on UIT-ViQuAD. We also estimate human performance on the dataset and compare it to the experimental results of powerful machine learning models. As a result, the substantial differences between human performance and the best model performance on the dataset indicate that improvements can be made on UIT-ViQuAD in future research. Our dataset is freely available on our website to encourage the research community to overcome challenges in Vietnamese MRC.
• Abstract（参考訳）: 9900万人以上がベトナム語を母国語として話す。 しかし、ベトナム語で機械読解(mrc)についての研究は少なく、テキストの理解とそれに関連する質問に答える作業が行なわれている。 ベトナム語のためのベンチマークデータセットが欠如しているため、ベトナム語でmrcモデルを評価するための新しいデータセットであるベトナム語質問応答データセット(uit-viquad)を提示する。 このデータセットは、ウィキペディアから174のベトナム語記事の5,109節に基づいて、23,000人以上の人が生成した質問応答ペアで構成されている。 特に,ベトナムmrcのためのデータセット作成の新しいプロセスを提案する。 私たちのデータセットは、単語マッチングのような単純な推論以上の能力を必要とし、単一文と複数文の推論を要求する。 さらに,UIT-ViQuAD 上での実験モデルとして,英語と中国語の最先端 MRC 手法の実験を行った。 また、データセット上での人間のパフォーマンスを推定し、強力な機械学習モデルの実験結果と比較する。 その結果、人間のパフォーマンスとデータセットの最良のモデルパフォーマンスとの大きな違いは、将来の研究においてUIT-ViQuADの改善が可能であることを示している。 我々のデータセットは、ベトナムのMRCの課題を克服するよう研究コミュニティに促すために、私たちのウェブサイトで無料で利用可能です。

関連論文リスト

• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• 3AM: An Ambiguity-Aware Multi-Modal Machine Translation Dataset [90.95948101052073]
  英語と中国語で26,000のパラレル文対からなる曖昧性を考慮したMMTデータセットである3AMを導入する。 我々のデータセットは、他のMTデータセットよりもあいまいで、キャプションと画像の両方が多種多様であるように設計されています。 実験の結果,我々のデータセットでトレーニングしたMTモデルは,他のMTデータセットでトレーニングしたMTモデルよりも視覚情報を活用する能力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-04-29T04:01:30Z)
• VlogQA: Task, Dataset, and Baseline Models for Vietnamese Spoken-Based Machine Reading Comprehension [1.3942150186842373]
  本稿では,機械読解作業のためのベトナム語音声コーパスの開発過程について述べる。 ベトナムの既存のMRCコーポラは主にウィキペディアの記事、オンライン新聞、教科書などの公式文書に焦点を当てている。 対照的に、VlogQAはYouTubeからソースされた1,230の文書に基づいて10,076の質問応答ペアで構成されている。
  論文  参考訳（メタデータ） (2024-02-05T00:54:40Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• VLSP 2021 Shared Task: Vietnamese Machine Reading Comprehension [2.348805691644086]
  本稿では,共有タスクの組織化,共有タスク参加者の実施方法の概要,その結果について述べる。 ベトナム語に対する MRC タスクと質問応答システムを評価するためのベンチマークデータセット UIT-ViQuAD 2.0 を提供する。 UIT-ViQuAD 2.0データセットは、ベトナムの機械読解、質問応答、質問生成を研究するためのより多くの研究者を動機付けている。
  論文  参考訳（メタデータ） (2022-03-22T00:44:41Z)
• Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval [51.004601358498135]
  Mr. TyDiは、11の類型的多様言語における単言語検索のためのベンチマークデータセットである。 このリソースの目的は、非英語言語における高密度検索技術の研究を促進することである。
  論文  参考訳（メタデータ） (2021-08-19T16:53:43Z)
• Sentence Extraction-Based Machine Reading Comprehension for Vietnamese [0.2446672595462589]
  UIT-ViWikiQAは,ベトナム語における文抽出に基づく機械読解に関する最初のデータセットである。 このデータセットは、ウィキペディアから174のベトナム語記事の5.109節に基づく23.074の質問回答からなる。 我々の実験によると、最良のマシンモデルはXLM-R$_Largeであり、これは正確な一致(EM)スコアが85.97%、F1スコアが88.77%である。
  論文  参考訳（メタデータ） (2021-05-19T10:22:27Z)
• COVID-19 Named Entity Recognition for Vietnamese [6.17059264011429]
  ベトナムで最初の手作業によるcovid-19ドメイン固有データセットについて紹介する。 私たちのデータセットは、新たに定義されたエンティティタイプを持つ名前付きエンティティ認識タスクにアノテートされます。 当社のデータセットには、既存のベトナムのNERデータセットと比較して最大数のエンティティが含まれています。
  論文  参考訳（メタデータ） (2021-04-08T16:35:34Z)
• A Sentence Cloze Dataset for Chinese Machine Reading Comprehension [64.07894249743767]
  我々はSentence Cloze-style Machine Reading (SC-MRC)と呼ばれる新しいタスクを提案する。 提案課題は,複数の空白を持つ文に適切な候補文を埋めることである。 私たちは、SC-MRCタスクの難しさを評価するためにCMRC 2019という中国のデータセットを構築しました。
  論文  参考訳（メタデータ） (2020-04-07T04:09:00Z)
• Enhancing lexical-based approach with external knowledge for Vietnamese multiple-choice machine reading comprehension [2.5199066832791535]
  我々はベトナム語の417のテキストに基づいて,2,783対の複数選択質問と回答からなるデータセットを構築した。 本稿では,意味的類似度尺度と外部知識源を用いて質問を分析し,与えられたテキストから回答を抽出する語彙ベースのMDC手法を提案する。 提案手法は,最良ベースラインモデルよりも5.51%高い精度で61.81%の精度を実現する。
  論文  参考訳（メタデータ） (2020-01-16T08:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。