論文の概要: Benchmarks for Pir\'a 2.0, a Reading Comprehension Dataset about the
Ocean, the Brazilian Coast, and Climate Change
- arxiv url: http://arxiv.org/abs/2309.10945v1
- Date: Tue, 19 Sep 2023 21:56:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 13:27:06.077278
- Title: Benchmarks for Pir\'a 2.0, a Reading Comprehension Dataset about the
Ocean, the Brazilian Coast, and Climate Change
- Title（参考訳）: Pir\'a 2.0のベンチマーク - 海洋、ブラジル沿岸、気候変動に関する総括的データセット
- Authors: Paulo Pirozelli, Marcos M. Jos\'e, Igor Silveira, Fl\'avio Nakasato,
Sarajane M. Peres, Anarosa A. F. Brand\~ao, Anna H. R. Costa, Fabio G. Cozman
- Abstract要約: ピロア (Pir'a) は、海洋、ブラジル沿岸、気候変動に焦点を当てた読解データセットである。
このデータセットは多用な言語リソースであり、特に専門的な科学的知識を得るための現在の機械学習モデルの能力をテストするのに有用である。
- 参考スコア（独自算出の注目度）: 0.24091079613649843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pir\'a is a reading comprehension dataset focused on the ocean, the Brazilian
coast, and climate change, built from a collection of scientific abstracts and
reports on these topics. This dataset represents a versatile language resource,
particularly useful for testing the ability of current machine learning models
to acquire expert scientific knowledge. Despite its potential, a detailed set
of baselines has not yet been developed for Pir\'a. By creating these
baselines, researchers can more easily utilize Pir\'a as a resource for testing
machine learning models across a wide range of question answering tasks. In
this paper, we define six benchmarks over the Pir\'a dataset, covering closed
generative question answering, machine reading comprehension, information
retrieval, open question answering, answer triggering, and multiple choice
question answering. As part of this effort, we have also produced a curated
version of the original dataset, where we fixed a number of grammar issues,
repetitions, and other shortcomings. Furthermore, the dataset has been extended
in several new directions, so as to face the aforementioned benchmarks:
translation of supporting texts from English into Portuguese, classification
labels for answerability, automatic paraphrases of questions and answers, and
multiple choice candidates. The results described in this paper provide several
points of reference for researchers interested in exploring the challenges
provided by the Pir\'a dataset.
- Abstract（参考訳）: pir\'aは、海洋、ブラジル海岸、気候変動に焦点を当てた読書理解データセットであり、科学的な抽象の収集とこれらのトピックに関するレポートから構築されている。
このデータセットは汎用言語リソースであり、現在の機械学習モデルが専門家の科学的知識を取得する能力をテストするのに特に有用である。
その可能性にもかかわらず、Pir\'aの詳細なベースラインはまだ開発されていない。
これらのベースラインを作成することで、研究者はより簡単にPir\'aを、幅広い質問応答タスクにわたる機械学習モデルをテストするためのリソースとして利用できる。
本稿では,pir\'aデータセット上の6つのベンチマークを定義し,クローズド生成型質問応答,機械読解,情報検索,オープン質問応答,回答トリガ,複数選択質問応答について述べる。
この取り組みの一環として、私たちはオリジナルのデータセットをキュレートしたバージョンも作成しました。
さらにデータセットは、上記のベンチマークに直面するために、英語からポルトガル語へのサポートテキストの翻訳、回答可能性の分類ラベル、質問と回答の自動パラフレーズ、複数の選択候補など、いくつかの新しい方向に拡張されている。
本稿では,Pir\'aデータセットの課題を探究する研究者に対して,いくつかの参考点を提供する。
関連論文リスト
- Can a Multichoice Dataset be Repurposed for Extractive Question Answering? [52.28197971066953]
我々は,Multiple-choice Question answering (MCQA)のために設計されたBandarkar et al.(Bandarkar et al., 2023)を再利用した。
本稿では,英語と現代標準アラビア語(MSA)のためのガイドラインと並列EQAデータセットを提案する。
私たちの目標は、ベレベレにおける120以上の言語変異に対して、他者が私たちのアプローチを適応できるようにすることです。
論文 参考訳（メタデータ） (2024-04-26T11:46:05Z) - X-PARADE: Cross-Lingual Textual Entailment and Information Divergence across Paragraphs [55.80189506270598]
X-PARADEは、段落レベルの情報の分岐の最初の言語間データセットである。
アノテーションは、対象言語における段落をスパンレベルでラベル付けし、ソース言語における対応する段落に対して評価する。
アライメントされた段落は、異なる言語のウィキペディアページから引用される。
論文 参考訳（メタデータ） (2023-09-16T04:34:55Z) - QTSumm: Query-Focused Summarization over Tabular Data [58.62152746690958]
人々は主に、データ分析を行うか、特定の質問に答えるためにテーブルをコンサルティングします。
そこで本研究では,テキスト生成モデルに人間的な推論を行なわなければならない,クエリ中心のテーブル要約タスクを新たに定義する。
このタスクには,2,934テーブル上の7,111の人間注釈付きクエリ-サマリーペアを含む,QTSummという新しいベンチマークを導入する。
論文 参考訳（メタデータ） (2023-05-23T17:43:51Z) - EduQG: A Multi-format Multiple Choice Dataset for the Educational Domain [20.801638768447948]
このデータセットには、複数の選択質問、回答(イントラクタを含む)、教育領域からのソースドキュメントの3,397のサンプルが含まれている。
各質問はノーマルとクローズの2つの形式で表現される。正しい回答は、文レベルのアノテーションでソース文書にリンクされる。
すべての質問は、クラウドワーカーではなく、教育と学習の標準を確実に維持するために、教育専門家によって作成されました。
論文 参考訳（メタデータ） (2022-10-12T11:28:34Z) - Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。
我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。
我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
論文 参考訳（メタデータ） (2022-07-25T01:43:19Z) - Pir\'a: A Bilingual Portuguese-English Dataset for Question-Answering
about the Ocean [1.1837802026343334]
本稿では,ポルトガル語と英語の両方で,海とブラジルの海岸に関する質問と回答の集合であるPir'aデータセットについて述べる。
Pir'aデータセットは、両方の言語で適切にキュレートされた質問/回答セット(QA)からなる。
我々は,質問応答,情報検索,機械翻訳など,NLPにおけるタスクセットをサポートするため,Pir'aの利点と限界について論じる。
論文 参考訳（メタデータ） (2022-02-04T21:29:45Z) - A Survey on non-English Question Answering Dataset [0.0]
この調査の目的は、多くの研究者がリリースした既存のデータセットを認識し、要約し、分析することである。
本稿では,フランス語,ドイツ語,日本語,中国語,アラビア語,ロシア語など,英語以外の共通言語で利用できる質問応答データセットと,多言語および多言語間の質問応答データセットについて検討する。
論文 参考訳（メタデータ） (2021-12-27T12:45:06Z) - PeCoQ: A Dataset for Persian Complex Question Answering over Knowledge
Graph [0.0]
本稿では,ペルシャ語質問応答のためのデータセットである textitPeCoQ を紹介する。
このデータセットには、ペルシャの知識グラフであるFarsBaseから抽出された1万の複雑な質問と回答が含まれている。
データセットには、マルチリレーション、マルチエンタリティ、順序性、時間的制約など、さまざまな種類の複雑さがある。
論文 参考訳（メタデータ） (2021-06-27T08:21:23Z) - English Machine Reading Comprehension Datasets: A Survey [13.767812547998735]
質問文や回答形式に応じてデータセットを分類し,サイズ,語彙,データソース,生成方法,人的パフォーマンスレベル,質問語など,さまざまな領域で比較する。
分析の結果、wikipediaは最も一般的なデータソースであり、データセットにまたがる質問の理由、時期、場所が比較的不足していることが分かりました。
論文 参考訳（メタデータ） (2021-01-25T21:15:06Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳（メタデータ） (2020-10-04T19:03:39Z) - ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine
Reading Comprehension [53.037401638264235]
我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。
評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
論文 参考訳（メタデータ） (2019-12-29T07:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。