論文の概要: VLSP 2021 Shared Task: Vietnamese Machine Reading Comprehension
- arxiv url: http://arxiv.org/abs/2203.11400v1
- Date: Tue, 22 Mar 2022 00:44:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-23 14:02:19.590330
- Title: VLSP 2021 Shared Task: Vietnamese Machine Reading Comprehension
- Title（参考訳）: VLSP 2021共有タスク:ベトナムの機械読解システム
- Authors: Kiet Van Nguyen, Son Quoc Tran, Luan Thanh Nguyen, Tin Van Huynh, Son
T. Luu, Ngan Luu-Thuy Nguyen
- Abstract要約: 本稿では,共有タスクの組織化,共有タスク参加者の実施方法の概要,その結果について述べる。
ベトナム語に対する MRC タスクと質問応答システムを評価するためのベンチマークデータセット UIT-ViQuAD 2.0 を提供する。
UIT-ViQuAD 2.0データセットは、ベトナムの機械読解、質問応答、質問生成を研究するためのより多くの研究者を動機付けている。
- 参考スコア（独自算出の注目度）: 2.348805691644086
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: One of the emerging research trends in natural language understanding is
machine reading comprehension (MRC) which is the task to find answers to human
questions based on textual data. Existing Vietnamese datasets for MRC research
concentrate solely on answerable questions. However, in reality, questions can
be unanswerable for which the correct answer is not stated in the given textual
data. To address the weakness, we provide the research community with a
benchmark dataset named UIT-ViQuAD 2.0 for evaluating the MRC task and question
answering systems for the Vietnamese language. We use UIT-ViQuAD 2.0 as a
benchmark dataset for the shared task on Vietnamese MRC at the Eighth Workshop
on Vietnamese Language and Speech Processing (VLSP 2021). This task attracted
77 participant teams from 34 universities and other organizations. In this
article, we present details of the organization of the shared task, an overview
of the methods employed by shared-task participants, and the results. The
highest performances are 77.24% EM and 67.43% F1-score on the private test set.
The Vietnamese MRC systems proposed by the top 3 teams use XLM-RoBERTa, a
powerful pre-trained language model using the transformer architecture. The
UIT-ViQuAD 2.0 dataset motivates more researchers to explore Vietnamese machine
reading comprehension, question answering, and question generation.
- Abstract（参考訳）: 自然言語理解における新たな研究トレンドの1つは、テキストデータに基づく人間の質問に対する答えを見つけるタスクである機械読解(mrc)である。
MRC研究のためのベトナムの既存のデータセットは、回答可能な質問にのみ焦点をあてている。
しかし、実際には、与えられたテキストデータで正しい答えが述べられないような質問は不可能である。
この弱点に対処するため、ベトナム語に対するMCCタスクと質問応答システムを評価するためのUIT-ViQuAD 2.0というベンチマークデータセットを研究コミュニティに提供する。
ベトナム語・音声処理に関する第8回ワークショップ(VLSP 2021)において,ベトナム MRC における共有タスクのベンチマークデータセットとして UIT-ViQuAD 2.0 を用いた。
この作業は、34の大学や他の組織から77の参加者チームを引き寄せた。
本稿では,共有タスクの組織の詳細,共有タスク参加者が使用するメソッドの概要,その結果について述べる。
最高性能は77.24%のemと67.43%のf1-scoreである。
上位3チームによって提案されたベトナムのMRCシステムは、トランスフォーマーアーキテクチャを使用した強力な事前訓練言語モデルであるXLM-RoBERTaを使用している。
UIT-ViQuAD 2.0データセットは、ベトナムの機械読解、質問応答、質問生成を研究するためのより多くの研究者を動機付けている。
関連論文リスト
- 3AM: An Ambiguity-Aware Multi-Modal Machine Translation Dataset [90.95948101052073]
英語と中国語で26,000のパラレル文対からなる曖昧性を考慮したMMTデータセットである3AMを導入する。
我々のデータセットは、他のMTデータセットよりもあいまいで、キャプションと画像の両方が多種多様であるように設計されています。
実験の結果,我々のデータセットでトレーニングしたMTモデルは,他のMTデータセットでトレーニングしたMTモデルよりも視覚情報を活用する能力が高いことがわかった。
論文 参考訳（メタデータ） (2024-04-29T04:01:30Z) - VlogQA: Task, Dataset, and Baseline Models for Vietnamese Spoken-Based Machine Reading Comprehension [1.3942150186842373]
本稿では,機械読解作業のためのベトナム語音声コーパスの開発過程について述べる。
ベトナムの既存のMRCコーポラは主にウィキペディアの記事、オンライン新聞、教科書などの公式文書に焦点を当てている。
対照的に、VlogQAはYouTubeからソースされた1,230の文書に基づいて10,076の質問応答ペアで構成されている。
論文 参考訳（メタデータ） (2024-02-05T00:54:40Z) - Look Before You Leap: A Universal Emergent Decomposition of Retrieval
Tasks in Language Models [58.57279229066477]
本研究では,言語モデル(LM)が様々な状況下での検索タスクをどのように解決するかを検討する。
ORIONは6つのドメインにまたがる構造化された検索タスクの集合である。
LMは内部的にモジュール方式で検索タスクを分解する。
論文 参考訳（メタデータ） (2023-12-13T18:36:43Z) - Rethinking and Improving Multi-task Learning for End-to-end Speech
Translation [51.713683037303035]
異なる時間とモジュールを考慮したタスク間の整合性について検討する。
テキストエンコーダは、主にクロスモーダル変換を容易にするが、音声におけるノイズの存在は、テキストと音声表現の一貫性を妨げる。
長さと表現の差を軽減し,モーダルギャップを橋渡しする,STタスクのための改良型マルチタスク学習(IMTL)手法を提案する。
論文 参考訳（メタデータ） (2023-11-07T08:48:46Z) - Evaluating the Symbol Binding Ability of Large Language Models for
Multiple-Choice Questions in Vietnamese General Education [0.16317061277457]
我々は,複数選択質問応答(MCQA)タスクに対して,ゼロショット,ワンショット,少数ショット設定で複数選択シンボルバインディング(MCSB)を実行する大規模言語モデル(LLM)の能力を評価する。
このデータセットは、厳密なスタイルでタイプされているため、LSMと小言語モデル(LM)のMCSB能力を評価するために使用することができる。
論文 参考訳（メタデータ） (2023-10-18T15:48:07Z) - Interactive Mobile App Navigation with Uncertain or Under-specified
Natural Language Commands [47.282510186109775]
モバイルアプリケーションTasks with Iterative Feedback (MoTIF)は、モバイルアプリで自然言語クエリを完了させることを目標とする、新たなデータセットです。
対話型質問応答,視覚的常識推論,質問応答の妥当性予測における関連課題に対する現在のデータセットは,あいまいな自然言語要求を解決するための研究を支援していない。
MoTIFには満足できない自然言語要求が含まれており、対話型視覚言語タスクにおいてこの問題を調査するための最初の研究である。
論文 参考訳（メタデータ） (2022-02-04T18:51:50Z) - Sentence Extraction-Based Machine Reading Comprehension for Vietnamese [0.2446672595462589]
UIT-ViWikiQAは,ベトナム語における文抽出に基づく機械読解に関する最初のデータセットである。
このデータセットは、ウィキペディアから174のベトナム語記事の5.109節に基づく23.074の質問回答からなる。
我々の実験によると、最良のマシンモデルはXLM-R$_Largeであり、これは正確な一致(EM)スコアが85.97%、F1スコアが88.77%である。
論文 参考訳（メタデータ） (2021-05-19T10:22:27Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳（メタデータ） (2020-10-04T19:03:39Z) - A Vietnamese Dataset for Evaluating Machine Reading Comprehension [2.7528170226206443]
ベトナム語として低リソース言語のための新しいデータセットであるUIT-ViQuADを提案する。
このデータセットは、ウィキペディアから174のベトナム語記事の5,109節に基づいて、23,000人以上の人が生成した質問応答ペアで構成されている。
UIT-ViQuADの最初の実験モデルとして、英語と中国語の最先端MRC手法の実験を行った。
論文 参考訳（メタデータ） (2020-09-30T15:06:56Z) - A Sentence Cloze Dataset for Chinese Machine Reading Comprehension [64.07894249743767]
我々はSentence Cloze-style Machine Reading (SC-MRC)と呼ばれる新しいタスクを提案する。
提案課題は,複数の空白を持つ文に適切な候補文を埋めることである。
私たちは、SC-MRCタスクの難しさを評価するためにCMRC 2019という中国のデータセットを構築しました。
論文 参考訳（メタデータ） (2020-04-07T04:09:00Z) - Enhancing lexical-based approach with external knowledge for Vietnamese
multiple-choice machine reading comprehension [2.5199066832791535]
我々はベトナム語の417のテキストに基づいて,2,783対の複数選択質問と回答からなるデータセットを構築した。
本稿では,意味的類似度尺度と外部知識源を用いて質問を分析し,与えられたテキストから回答を抽出する語彙ベースのMDC手法を提案する。
提案手法は,最良ベースラインモデルよりも5.51%高い精度で61.81%の精度を実現する。
論文 参考訳（メタデータ） (2020-01-16T08:09:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。