論文の概要: TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages

• arxiv url: http://arxiv.org/abs/2003.05002v1
• Date: Tue, 10 Mar 2020 21:11:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 20:25:12.494643
• Title: TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages
• Title（参考訳）: TyDi QA: タイポロジー多言語における情報探索質問回答のベンチマーク
• Authors: Jonathan H. Clark, Eunsol Choi, Michael Collins, Dan Garrette, Tom Kwiatkowski, Vitaly Nikolaev, and Jennimaria Palomaki
• Abstract要約: TyDi QAは、204Kの問合せ対を持つ11の類型的多様言語をカバーする質問応答データセットである。 本稿では,観測された言語現象のデータ品質と例レベルの定性言語分析について定量的に分析する。
• 参考スコア（独自算出の注目度）: 27.588857710802113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Confidently making progress on multilingual modeling requires challenging, trustworthy evaluations. We present TyDi QA---a question answering dataset covering 11 typologically diverse languages with 204K question-answer pairs. The languages of TyDi QA are diverse with regard to their typology---the set of linguistic features each language expresses---such that we expect models performing well on this set to generalize across a large number of the world's languages. We present a quantitative analysis of the data quality and example-level qualitative linguistic analyses of observed language phenomena that would not be found in English-only corpora. To provide a realistic information-seeking task and avoid priming effects, questions are written by people who want to know the answer, but don't know the answer yet, and the data is collected directly in each language without the use of translation.
• Abstract（参考訳）: 多言語モデリングを確実に進めるためには、挑戦的で信頼できる評価が必要である。 我々はTyDi QA--204Kの問合せ対を持つ11の類型的多様言語を対象とした質問応答データセットを提案する。 tydi qaの言語は、それぞれの言語が表現する言語的特徴のセットという、そのタイポロジーに関して多種多様であり、このセットでうまく機能するモデルが、世界の多くの言語にまたがって一般化することを期待しています。 本稿では、英語のみのコーパスでは見つからない観察された言語現象のデータ品質と例レベルの質的言語分析について定量的に分析する。 リアルな情報検索タスクであって、プライミング効果を回避し、回答を知りたいがまだ答えがわからない人々によって質問が書かれ、翻訳を使わずに各言語でデータを直接収集する。

関連論文リスト

• CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
  CaLMQAは、23の言語にまたがる1.5Kの文化的に特定の質問のコレクションであり、51の文化的に翻訳された質問は、英語から22の言語に翻訳されている。 コミュニティのWebフォーラムから自然に発生する質問を収集し、ネイティブスピーカーを雇い、FijianやKirndiといった未調査言語をカバーする質問を書いています。 私たちのデータセットには、文化的トピック(伝統、法律、ニュースなど)とネイティブスピーカーの言語使用を反映した、多種多様な複雑な質問が含まれています。
  論文  参考訳（メタデータ） (2024-06-25T17:45:26Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• Can a Multichoice Dataset be Repurposed for Extractive Question Answering? [52.28197971066953]
  我々は,Multiple-choice Question answering (MCQA)のために設計されたBandarkar et al.(Bandarkar et al., 2023)を再利用した。 本稿では,英語と現代標準アラビア語(MSA)のためのガイドラインと並列EQAデータセットを提案する。 私たちの目標は、ベレベレにおける120以上の言語変異に対して、他者が私たちのアプローチを適応できるようにすることです。
  論文  参考訳（メタデータ） (2024-04-26T11:46:05Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• Language Embeddings Sometimes Contain Typological Generalizations [0.0]
  我々は、1295の言語における聖書翻訳の膨大な多言語データセットに基づいて、自然言語処理タスクのニューラルネットワークを訓練する。 学習された言語表現は、既存の類型データベースや、新しい量的構文的・形態的特徴セットと比較される。 いくつかの一般化は言語型学の伝統的な特徴に驚くほど近いが、ほとんどのモデルは以前の研究と同様に言語学的に意味のある一般化をしていないと結論付けている。
  論文  参考訳（メタデータ） (2023-01-19T15:09:59Z)
• TyDiP: A Dataset for Politeness Classification in Nine Typologically Diverse Languages [33.540256516320326]
  類型的多様言語9言語における丁寧さ現象について検討する。 それぞれの言語で500の例に対して3方向の丁寧なアノテーションを含むデータセットであるTyDiPを作成します。
  論文  参考訳（メタデータ） (2022-11-29T18:58:15Z)
• Universal and Independent: Multilingual Probing Framework for Exhaustive Model Interpretation and Evaluation [0.04199844472131922]
  多数の言語を簡単に探索できるGUI支援フレームワークを提案し,適用した。 mBERTモデルで明らかになった規則性のほとんどは、西欧語で典型的である。 私たちのフレームワークは,既存のプローブツールボックスやモデルカード,リーダボードと統合することができます。
  論文  参考訳（メタデータ） (2022-10-24T13:41:17Z)
• Investigating Information Inconsistency in Multilingual Open-Domain Question Answering [18.23417521199809]
  検索バイアスに着目した多言語開領域質問応答モデルの振る舞いを解析する。 言語間での文書の内容の違いは、文化的な相違や社会的偏見を反映しているのではないかと推測する。
  論文  参考訳（メタデータ） (2022-05-25T02:58:54Z)
• Delving Deeper into Cross-lingual Visual Question Answering [115.16614806717341]
  標準学習装置に簡単な修正を加えることで、モノリンガル英語のパフォーマンスへの移行ギャップを大幅に減らすことができることを示す。 多言語マルチモーダル変換器の多言語間VQAを多言語間VQAで解析する。
  論文  参考訳（メタデータ） (2022-02-15T18:22:18Z)
• MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering [6.452012363895865]
  このデータセットは、質問応答を評価するために、現在最も広い範囲の言語を提供する。 生成的および抽出的質問応答のための様々な最先端手法とベースラインをベンチマークする。 結果は、このデータセットが英語でも、特に低リソース言語では挑戦的であることを示している。
  論文  参考訳（メタデータ） (2020-07-30T03:33:46Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。