Fugu-MT 論文翻訳(概要): TyDi QA-WANA: A Benchmark for Information-Seeking Question Answering in Languages of West Asia and North Africa

論文の概要: TyDi QA-WANA: A Benchmark for Information-Seeking Question Answering in Languages of West Asia and North Africa

arxiv url: http://arxiv.org/abs/2507.17709v1
Date: Wed, 23 Jul 2025 17:20:28 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-24 22:33:15.105035
Title: TyDi QA-WANA: A Benchmark for Information-Seeking Question Answering in Languages of West Asia and North Africa
Title（参考訳）: TyDi QA-WANA:西アジアと北アフリカの言語における情報探索質問回答のベンチマーク
Authors: Parker Riley, Siamak Shakeri, Waleed Ammar, Jonathan H. Clark,
Abstract要約: アジア西部とアフリカ北部の10の言語品種に28K例からなる質問応答データセットTyDi QA-WANAを提示する。データ収集プロセスは、情報検索の質問を引き出すように設計されている。
参考スコア（独自算出の注目度）: 13.107551474252379
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present TyDi QA-WANA, a question-answering dataset consisting of 28K examples divided among 10 language varieties of western Asia and northern Africa. The data collection process was designed to elicit information-seeking questions, where the asker is genuinely curious to know the answer. Each question in paired with an entire article that may or may not contain the answer; the relatively large size of the articles results in a task suitable for evaluating models' abilities to utilize large text contexts in answering questions. Furthermore, the data was collected directly in each language variety, without the use of translation, in order to avoid issues of cultural relevance. We present performance of two baseline models, and release our code and data to facilitate further improvement by the research community.
Abstract（参考訳）: アジア西部とアフリカ北部の10の言語品種に28K例からなる質問応答データセットTyDi QA-WANAを提示する。データ収集プロセスは、情報検索の質問を引き出すように設計されている。記事の比較的大きなサイズは、質問に答えるために大きなテキストコンテキストを利用するためのモデルの能力を評価するのに適したタスクをもたらす。さらに、文化的な関連性の問題を避けるため、翻訳を使わずに各言語で直接収集した。 2つのベースラインモデルの性能を示し、研究コミュニティによるさらなる改善を促進するために、コードとデータをリリースする。

関連論文リスト

CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
CaLMQAは、文化的に異なる23言語にわたる51.7Kの質問のデータセットである。我々は,LLM生成長文回答の事実性,関連性,表面品質を評価する。
論文参考訳（メタデータ） (2024-06-25T17:45:26Z)
CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
論文参考訳（メタデータ） (2024-06-10T01:59:00Z)
From Multiple-Choice to Extractive QA: A Case Study for English and Arabic [51.13706104333848]
既存の多言語データセットを新しいNLPタスクに再利用する可能性について検討する。本稿では,英語および現代標準アラビア語に対するアノテーションガイドラインと並列EQAデータセットを提案する。我々は、残りの120のBELEBELE言語変種に対して、他の人が我々のアプローチを適用するのを助けることを目指しており、その多くがリソース不足と見なされている。
論文参考訳（メタデータ） (2024-04-26T11:46:05Z)
MahaSQuAD: Bridging Linguistic Divides in Marathi Question-Answering [0.4194295877935868]
この研究は、低リソース言語における効率的なQnAデータセットの欠如のギャップを埋めようとしている。 118,516のトレーニング、11,873のバリデーション、11,803のテストサンプルからなる、Indic言語Marathiのための最初の完全なSQuADデータセットであるMahaSQuADを紹介した。
論文参考訳（メタデータ） (2024-04-20T12:16:35Z)
A Dataset of Open-Domain Question Answering with Multiple-Span Answers [11.291635421662338]
マルチスパン回答抽出(Multi-span answer extract)は、マルチスパン質問応答(MSQA)のタスクとしても知られ、現実世界のアプリケーションにとって重要な課題である。中国語ではMSQAベンチマークが公開されていない。 CLEANは、中国の総合的なマルチスパン質問応答データセットである。
論文参考訳（メタデータ） (2024-02-15T13:03:57Z)
Cross-Lingual Question Answering over Knowledge Base as Reading Comprehension [61.079852289005025]
知識ベース(xKBQA)に対する言語間質問応答は、提供された知識ベースとは異なる言語での質問に答えることを目的としている。 xKBQAが直面する大きな課題の1つは、データアノテーションのコストが高いことである。読解パラダイムにおけるxKBQAの新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-02-26T05:52:52Z)
KenSwQuAD -- A Question Answering Dataset for Swahili Low Resource Language [0.0]
このデータセットは、Swahili低リソース言語の生のストーリーテキストから注釈付けされている。 QAデータセットは、インターネット検索やダイアログシステムのようなタスクのための自然言語の機械理解にとって重要である。この研究は、Kencorpusプロジェクトによって収集されたスワヒリのテキストからQAペアを定式化するためにアノテータを雇った。
論文参考訳（メタデータ） (2022-05-04T23:53:23Z)
A Chinese Multi-type Complex Questions Answering Dataset over Wikidata [45.31495982252219]
複雑な知識ベース質問回答は、過去10年間に人気のある研究分野である。最近の公開データセットはこの分野で結果を奨励しているが、ほとんど英語に限られている。最先端のKBQAモデルは、最も人気のある現実世界の知識基盤の1つであるWikidataで訓練されている。 CLC-QuADは,これらの課題に対処するために,ウィキデータ上での最初の大規模複雑な中国語意味解析データセットである。
論文参考訳（メタデータ） (2021-11-11T07:39:16Z)
A Dataset of Information-Seeking Questions and Answers Anchored in Research Papers [66.11048565324468]
1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
論文参考訳（メタデータ） (2021-05-07T00:12:34Z)
XOR QA: Cross-lingual Open-Retrieval Question Answering [75.20578121267411]
この作業は、言語横断的な設定に応答するオープン検索の質問を拡張します。我々は,同じ回答を欠いた質問に基づいて,大規模なデータセットを構築した。
論文参考訳（メタデータ） (2020-10-22T16:47:17Z)
Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。我々は,読者が情報を求めるための実践的な戦略に携わることを示す。我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文参考訳（メタデータ） (2020-10-04T19:03:39Z)
TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages [27.588857710802113]
TyDi QAは、204Kの問合せ対を持つ11の類型的多様言語をカバーする質問応答データセットである。本稿では,観測された言語現象のデータ品質と例レベルの定性言語分析について定量的に分析する。
論文参考訳（メタデータ） (2020-03-10T21:11:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。