論文の概要: MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering

• arxiv url: http://arxiv.org/abs/2007.15207v2
• Date: Tue, 17 Aug 2021 00:28:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 13:57:35.512066
• Title: MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering
• Title（参考訳）: MKQA:多言語オープンドメイン質問回答のための言語的に異なるベンチマーク
• Authors: Shayne Longpre, Yi Lu, Joachim Daiber
• Abstract要約: このデータセットは、質問応答を評価するために、現在最も広い範囲の言語を提供する。 生成的および抽出的質問応答のための様々な最先端手法とベースラインをベンチマークする。 結果は、このデータセットが英語でも、特に低リソース言語では挑戦的であることを示している。
• 参考スコア（独自算出の注目度）: 6.452012363895865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Progress in cross-lingual modeling depends on challenging, realistic, and diverse evaluation sets. We introduce Multilingual Knowledge Questions and Answers (MKQA), an open-domain question answering evaluation set comprising 10k question-answer pairs aligned across 26 typologically diverse languages (260k question-answer pairs in total). Answers are based on a heavily curated, language-independent data representation, making results comparable across languages and independent of language-specific passages. With 26 languages, this dataset supplies the widest range of languages to-date for evaluating question answering. We benchmark a variety of state-of-the-art methods and baselines for generative and extractive question answering, trained on Natural Questions, in zero shot and translation settings. Results indicate this dataset is challenging even in English, but especially in low-resource languages
• Abstract（参考訳）: 言語間モデリングの進歩は、挑戦的で現実的で多様な評価セットに依存する。 MKQA(Multilingual Knowledge Questions and Answers, MKQA)は,26言語にまたがる10kの質問応答対(合計260kの質問応答対)からなるオープンドメイン質問応答評価セットである。 回答は、厳格にキュレートされた言語に依存しないデータ表現に基づいており、結果が言語に匹敵し、言語固有のパスとは独立している。 26の言語で、このデータセットは質問応答を評価するために、これまでで最も幅広い言語を提供する。 本研究は,Natural Questionsで訓練された,生成的および抽出的質問応答のための様々な最先端の手法とベースラインを,ゼロショットおよび翻訳設定でベンチマークする。 結果は、このデータセットは英語でも難しいが、特に低リソース言語では難しいことを示している

関連論文リスト

• INDIC QA BENCHMARK: A Multilingual Benchmark to Evaluate Question Answering capability of LLMs for Indic Languages [26.13077589552484]
  Indic-QAは、2つの言語ファミリーから11の主要なインドの言語に対して、公開可能なコンテキストベース質問答えデータセットとして最大である。 我々は、Geminiモデルを用いて合成データセットを生成し、パスを与えられた質問応答ペアを作成し、品質保証のために手作業で検証する。 様々な多言語大言語モデルと,その命令を微調整した変種をベンチマークで評価し,その性能,特に低リソース言語について検討した。
  論文  参考訳（メタデータ） (2024-07-18T13:57:16Z)
• CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
  CaLMQAは、23の言語にまたがる1.5Kの文化的に特定の質問のコレクションであり、51の文化的に翻訳された質問は、英語から22の言語に翻訳されている。 コミュニティのWebフォーラムから自然に発生する質問を収集し、ネイティブスピーカーを雇い、FijianやKirndiといった未調査言語をカバーする質問を書いています。 私たちのデータセットには、文化的トピック(伝統、法律、ニュースなど)とネイティブスピーカーの言語使用を反映した、多種多様な複雑な質問が含まれています。
  論文  参考訳（メタデータ） (2024-06-25T17:45:26Z)
• Can a Multichoice Dataset be Repurposed for Extractive Question Answering? [52.28197971066953]
  我々は,Multiple-choice Question answering (MCQA)のために設計されたBandarkar et al.(Bandarkar et al., 2023)を再利用した。 本稿では,英語と現代標準アラビア語(MSA)のためのガイドラインと並列EQAデータセットを提案する。 私たちの目標は、ベレベレにおける120以上の言語変異に対して、他者が私たちのアプローチを適応できるようにすることです。
  論文  参考訳（メタデータ） (2024-04-26T11:46:05Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• Bridging the Language Gap: Knowledge Injected Multilingual Question Answering [19.768708263635176]
  本稿では,異なる言語を理解するモデルの能力を高めるために,一般化された言語間移動フレームワークを提案する。 実世界のデータセット MLQA に対する実験結果から,提案手法は大きなマージンで性能を向上できることが示された。
  論文  参考訳（メタデータ） (2023-04-06T15:41:25Z)
• Applying Multilingual Models to Question Answering (QA) [0.0]
  本研究では,英語,フィンランド語,日本語の3言語を対象とした質問応答課題(QA)に基づいて,単言語および多言語言語モデルの性能について検討する。 我々は,(1)質問が応答可能かどうかを判断するタスクのモデルを開発し,(2)IOBタグを用いたコンテキスト内の回答テキストを識別する。
  論文  参考訳（メタデータ） (2022-12-04T21:58:33Z)
• MIA 2022 Shared Task: Evaluating Cross-lingual Open-Retrieval Question Answering for 16 Diverse Languages [54.002969723086075]
  16言語に類型的に多様である言語における言語横断的オープン-検索型問合せシステムの評価を行った。 反復的にマイニングされた多様な負の例を利用する最良のシステムは32.2 F1となり、ベースラインを4.5ポイント上回る。 第2のベストシステムは文書検索にエンティティを意識した文脈表現を使用し、タミル(20.8 F1)の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2022-07-02T06:54:10Z)
• Delving Deeper into Cross-lingual Visual Question Answering [115.16614806717341]
  標準学習装置に簡単な修正を加えることで、モノリンガル英語のパフォーマンスへの移行ギャップを大幅に減らすことができることを示す。 多言語マルチモーダル変換器の多言語間VQAを多言語間VQAで解析する。
  論文  参考訳（メタデータ） (2022-02-15T18:22:18Z)
• XOR QA: Cross-lingual Open-Retrieval Question Answering [75.20578121267411]
  この作業は、言語横断的な設定に応答するオープン検索の質問を拡張します。 我々は,同じ回答を欠いた質問に基づいて,大規模なデータセットを構築した。
  論文  参考訳（メタデータ） (2020-10-22T16:47:17Z)
• TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages [27.588857710802113]
  TyDi QAは、204Kの問合せ対を持つ11の類型的多様言語をカバーする質問応答データセットである。 本稿では,観測された言語現象のデータ品質と例レベルの定性言語分析について定量的に分析する。
  論文  参考訳（メタデータ） (2020-03-10T21:11:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。