論文の概要: GlobalBench: A Benchmark for Global Progress in Natural Language Processing

• arxiv url: http://arxiv.org/abs/2305.14716v1
• Date: Wed, 24 May 2023 04:36:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 19:38:28.886538
• Title: GlobalBench: A Benchmark for Global Progress in Natural Language Processing
• Title（参考訳）: globalbench: 自然言語処理におけるグローバル進歩のベンチマーク
• Authors: Yueqi Song, Catherine Cui, Simran Khanuja, Pengfei Liu, Fahim Faisal, Alissa Ostapenko, Genta Indra Winata, Alham Fikri Aji, Samuel Cahyawijaya, Yulia Tsvetkov, Antonios Anastasopoulos and Graham Neubig
• Abstract要約: GlobalBenchは、すべての言語におけるすべてのNLPデータセットの進捗を追跡することを目的としている。 話者当たりのユーティリティと、全言語にわたるテクノロジのエクイティをトラックする。 現在、GlobalBenchは190言語で966のデータセットをカバーしており、62言語にまたがる1,128のシステムサブミッションを持っている。
• 参考スコア（独自算出の注目度）: 114.24519009839142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the major advances in NLP, significant disparities in NLP system performance across languages still exist. Arguably, these are due to uneven resource allocation and sub-optimal incentives to work on less resourced languages. To track and further incentivize the global development of equitable language technology, we introduce GlobalBench. Prior multilingual benchmarks are static and have focused on a limited number of tasks and languages. In contrast, GlobalBench is an ever-expanding collection that aims to dynamically track progress on all NLP datasets in all languages. Rather than solely measuring accuracy, GlobalBench also tracks the estimated per-speaker utility and equity of technology across all languages, providing a multi-faceted view of how language technology is serving people of the world. Furthermore, GlobalBench is designed to identify the most under-served languages, and rewards research efforts directed towards those languages. At present, the most under-served languages are the ones with a relatively high population, but nonetheless overlooked by composite multilingual benchmarks (like Punjabi, Portuguese, and Wu Chinese). Currently, GlobalBench covers 966 datasets in 190 languages, and has 1,128 system submissions spanning 62 languages.
• Abstract（参考訳）: NLPの大幅な進歩にもかかわらず、言語間でのNLPシステム性能の相違は残されている。 おそらくこれらは、リソース割り当ての不均一と、リソースの少ない言語で作業するための準最適インセンティブによるものだろう。 平等言語技術のグローバル開発を追跡・促進するために,GlobalBenchを紹介する。 事前の多言語ベンチマークは静的であり、限られた数のタスクと言語に焦点を当てている。 対照的にGlobalBenchは、すべての言語におけるすべてのNLPデータセットの進捗を動的に追跡することを目的とした、拡張を続けるコレクションである。 globalbenchは、精度を測るだけでなく、すべての言語にまたがる話者一人当たりのユーティリティと技術の公平性を追跡し、言語技術が世界の人々にどのように役立つのかを多面的に観察する。 さらに、GlobalBenchは、最も貧弱な言語を特定し、それらの言語に対する研究活動に報いるように設計されている。 現在、最も未使用の言語は比較的人口が多い言語であるが、複合多言語ベンチマーク(パンジャービ語、ポルトガル語、ウー中国語など)では見過ごされている。 現在、GlobalBenchは190言語で966のデータセットをカバーしており、62言語にまたがる1,128のシステムサブミッションを持っている。

関連論文リスト

• BayLing 2: A Multilingual Large Language Model with Efficient Language Alignment [42.193395498828764]
  本稿では,ハイソース言語から低ソース言語へ効率的に生成能力と知識を伝達するBayLing 2を紹介する。 100以上の言語にまたがる多言語翻訳では、BayLingは同様のスケールのオープンソースモデルよりも優れたパフォーマンスを示している。 BayLingのデモ、ホームページ、コード、モデルが利用可能だ。
  論文  参考訳（メタデータ） (2024-11-25T11:35:08Z)
• IndicGenBench: A Multilingual Benchmark to Evaluate Generation Capabilities of LLMs on Indic Languages [12.514648269553104]
  IndicGenBenchは、大規模言語モデル(LLM)を評価するための最大のベンチマークである。 言語間要約、機械翻訳、言語間質問応答などの多様な世代タスクで構成されている。 最大の PaLM-2 モデルは、ほとんどのタスクにおいて最高に機能するが、英語と比較して全ての言語で顕著な性能差がある。
  論文  参考訳（メタデータ） (2024-04-25T17:57:36Z)
• DIALECTBENCH: A NLP Benchmark for Dialects, Varieties, and Closely-Related Languages [49.38663048447942]
  DIALECTBENCHは,NLPの品種に対する大規模ベンチマークとして初めて提案される。 これにより、異なる言語でNLPシステムの性能を総合的に評価することができる。 標準言語と非標準言語間の性能格差の相当な証拠を提供する。
  論文  参考訳（メタデータ） (2024-03-16T20:18:36Z)
• Multilingual Word Embeddings for Low-Resource Languages using Anchors and a Chain of Related Languages [54.832599498774464]
  我々は,言語連鎖に基づく新しいアプローチにより,多言語単語埋め込み(MWE)を構築することを提案する。 リソースの豊富なソースから始めて、ターゲットに到達するまで各言語をチェーンに順次追加することで、MWEを一度に1つの言語で構築します。 本手法は,4つの低リソース(5Mトークン)と4つの中程度の低リソース(50M)ターゲット言語を含む4つの言語ファミリーを対象としたバイリンガルレキシコン誘導法について検討した。
  論文  参考訳（メタデータ） (2023-11-21T09:59:29Z)
• Making a MIRACL: Multilingual Information Retrieval Across a Continuum of Languages [62.730361829175415]
  MIRACLは、WSDM 2023 Cupチャレンジのために構築した多言語データセットです。 18の言語にまたがるアドホック検索に焦点を当てている。 我々の目標は、言語連続体における検索を改善する研究を加速させることです。
  論文  参考訳（メタデータ） (2022-10-18T16:47:18Z)
• NusaX: Multilingual Parallel Sentiment Dataset for 10 Indonesian Local Languages [100.59889279607432]
  インドネシアにおける言語の資源開発に重点を置いている。 インドネシアのほとんどの言語は絶滅危惧種に分類され、一部は絶滅している。 インドネシアで10の低リソース言語を対象とした,最初の並列リソースを開発した。
  論文  参考訳（メタデータ） (2022-05-31T17:03:50Z)
• Meta-X$_{NLG}$: A Meta-Learning Approach Based on Language Clustering for Zero-Shot Cross-Lingual Transfer and Generation [11.155430893354769]
  本稿では,類型的に多様な言語から共有可能な構造を学習するためのメタラーニングフレームワークを提案する。 まず、まず言語表現に基づいて言語をクラスタ化し、各クラスタのセントロイド言語を識別する。 メタ学習アルゴリズムは、全てのセントロイド言語で訓練され、ゼロショット設定で他の言語で評価される。
  論文  参考訳（メタデータ） (2022-03-19T05:22:07Z)
• SIGMORPHON 2020 Shared Task 0: Typologically Diverse Morphological Inflection [81.85463892070085]
  形態的回帰に関するSIGMORPHON 2020の課題は、型的に異なる言語にまたがるシステムの一般化能力を調査することを目的としている。 システムは45言語と5つの言語ファミリーのデータを使用して開発され、追加の45言語と10の言語ファミリー(合計13言語)のデータで微調整され、90言語すべてで評価された。
  論文  参考訳（メタデータ） (2020-06-20T13:24:14Z)
• The State and Fate of Linguistic Diversity and Inclusion in the NLP World [12.936270946393483]
  言語技術は、世界中の多言語主義と言語多様性の促進に寄与している。 世界中で7000を超える言語のごく少数のみが、急速に進化する言語技術やアプリケーションで表現されている。
  論文  参考訳（メタデータ） (2020-04-20T07:19:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。