論文の概要: IndicXTREME: A Multi-Task Benchmark For Evaluating Indic Languages

• arxiv url: http://arxiv.org/abs/2212.05409v2
• Date: Tue, 13 Dec 2022 18:47:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 14:18:35.205243
• Title: IndicXTREME: A Multi-Task Benchmark For Evaluating Indic Languages
• Title（参考訳）: indicxtreme:indic言語評価のためのマルチタスクベンチマーク
• Authors: Sumanth Doddapaneni, Rahul Aralikatte, Gowtham Ramesh, Shreya Goyal, Mitesh M. Khapra, Anoop Kunchukuttan, Pratyush Kumar
• Abstract要約: IndicXTREMEは、Indicサブ大陸から18言語をカバーする9つの多様なタスクからなるベンチマークである。 IndicXTREMEには合計103の評価セットが含まれており、そのうち51が新たな文献への貢献である。 IndicCorp v2は、24言語で20.9億のトークンを含むIndicCorpのアップデート版で、はるかに大きなバージョンです。
• 参考スコア（独自算出の注目度）: 19.91781398526369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we introduce IndicXTREME, a benchmark consisting of nine diverse tasks covering 18 languages from the Indic sub-continent belonging to four different families. Across languages and tasks, IndicXTREME contains a total of 103 evaluation sets, of which 51 are new contributions to the literature. To maintain high quality, we only use human annotators to curate or translate our datasets. To the best of our knowledge, this is the first effort toward creating a standard benchmark for Indic languages that aims to test the zero-shot capabilities of pretrained language models. We also release IndicCorp v2, an updated and much larger version of IndicCorp that contains 20.9 billion tokens in 24 languages. We pretrain IndicBERT v2 on IndicCorp v2 and evaluate it on IndicXTREME to show that it outperforms existing multilingual language models such as XLM-R and MuRIL.
• Abstract（参考訳）: IndicXTREMEは、4つのファミリーに属するIndicサブ大陸から18言語をカバーする9つの多様なタスクからなるベンチマークである。 言語やタスク全体にわたって、IndicXTREMEには合計103の評価セットが含まれており、そのうち51が新たな文献への貢献である。 高品質を維持するには、データセットのキュレーションや翻訳に人間のアノテーションのみを使用します。 我々の知る限りでは、事前訓練された言語モデルのゼロショット機能をテストすることを目的とした、Indic言語の標準ベンチマークを作成するための最初の取り組みである。 IndicCorp v2は、24言語で20.9億のトークンを含むIndicCorpのアップデート版で、はるかに大きなバージョンです。 IndicCorp v2でIndicBERT v2をプレトレーニングし、IndicXTREMEで評価し、XLM-RやMuRILのような既存の多言語言語モデルよりも優れていることを示す。

関連論文リスト

• Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
  本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。 これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
  論文  参考訳（メタデータ） (2024-08-01T04:56:13Z)
• IndicGenBench: A Multilingual Benchmark to Evaluate Generation Capabilities of LLMs on Indic Languages [12.514648269553104]
  IndicGenBenchは、大規模言語モデル(LLM)を評価するための最大のベンチマークである。 言語間要約、機械翻訳、言語間質問応答などの多様な世代タスクで構成されている。 最大の PaLM-2 モデルは、ほとんどのタスクにおいて最高に機能するが、英語と比較して全ての言語で顕著な性能差がある。
  論文  参考訳（メタデータ） (2024-04-25T17:57:36Z)
• Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model [33.87586041774359]
  Ayaは101言語で命令に従う多言語生成言語モデルであり、50%以上が低リソースであると考えられている。 99言語にまたがる多言語evalの最先端性を広げる広範な評価スイートを導入する。 我々は、最適微調整混合物組成、データプルーニング、およびモデルの毒性、バイアス、安全性について詳細な調査を行う。
  論文  参考訳（メタデータ） (2024-02-12T17:34:13Z)
• Multilingual Word Embeddings for Low-Resource Languages using Anchors and a Chain of Related Languages [54.832599498774464]
  我々は,言語連鎖に基づく新しいアプローチにより,多言語単語埋め込み(MWE)を構築することを提案する。 リソースの豊富なソースから始めて、ターゲットに到達するまで各言語をチェーンに順次追加することで、MWEを一度に1つの言語で構築します。 本手法は,4つの低リソース(5Mトークン)と4つの中程度の低リソース(50M)ターゲット言語を含む4つの言語ファミリーを対象としたバイリンガルレキシコン誘導法について検討した。
  論文  参考訳（メタデータ） (2023-11-21T09:59:29Z)
• Baichuan 2: Open Large-scale Language Models [51.56361715162972]
  我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
  論文  参考訳（メタデータ） (2023-09-19T04:13:22Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• IndicTrans2: Towards High-Quality and Accessible Machine Translation Models for all 22 Scheduled Indian Languages [37.758476568195256]
  インドは10億人以上の人々が話す4つの主要言語族の言語と共に豊かな言語風景を持っている。 これらの言語のうち22はインド憲法に記載されている(予定言語として参照)。
  論文  参考訳（メタデータ） (2023-05-25T17:57:43Z)
• V\=arta: A Large-Scale Headline-Generation Dataset for Indic Languages [21.018996007110324]
  このデータセットには14の異なるIndic言語(および英語)の480万のニュース記事が含まれている。 私たちの知る限りでは、現在利用可能なIndic言語のキュレートされた記事のコレクションとしては、これが最大です。
  論文  参考訳（メタデータ） (2023-05-10T03:07:17Z)
• Making a MIRACL: Multilingual Information Retrieval Across a Continuum of Languages [62.730361829175415]
  MIRACLは、WSDM 2023 Cupチャレンジのために構築した多言語データセットです。 18の言語にまたがるアドホック検索に焦点を当てている。 我々の目標は、言語連続体における検索を改善する研究を加速させることです。
  論文  参考訳（メタデータ） (2022-10-18T16:47:18Z)
• Role of Language Relatedness in Multilingual Fine-tuning of Language Models: A Case Study in Indo-Aryan Languages [34.79533646549939]
  我々は,多言語微調整を用いたNLPモデルにおいて,同族に属する言語の関連性を活用した影響について検討する。 Oriya や Punjabi のような低資源言語は多言語微調整の最大の受益者である。
  論文  参考訳（メタデータ） (2021-09-22T06:37:39Z)
• SIGMORPHON 2020 Shared Task 0: Typologically Diverse Morphological Inflection [81.85463892070085]
  形態的回帰に関するSIGMORPHON 2020の課題は、型的に異なる言語にまたがるシステムの一般化能力を調査することを目的としている。 システムは45言語と5つの言語ファミリーのデータを使用して開発され、追加の45言語と10の言語ファミリー(合計13言語)のデータで微調整され、90言語すべてで評価された。
  論文  参考訳（メタデータ） (2020-06-20T13:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。