論文の概要: ParsiNLU: A Suite of Language Understanding Challenges for Persian
- arxiv url: http://arxiv.org/abs/2012.06154v1
- Date: Fri, 11 Dec 2020 06:31:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-14 08:34:50.354522
- Title: ParsiNLU: A Suite of Language Understanding Challenges for Persian
- Title（参考訳）: ParsiNLU:ペルシア語に対する言語理解の課題のスイート
- Authors: Daniel Khashabi, Arman Cohan, Siamak Shakeri, Pedram Hosseini, Pouya
Pezeshkpour, Malihe Alikhani, Moin Aminnaseri, Marzieh Bitaab, Faeze Brahman,
Sarik Ghazarian, Mozhdeh Gheini, Arman Kabiri, Rabeeh Karimi Mahabadi, Omid
Memarrast, Ahmadreza Mosallanezhad, Erfan Noury, Shahab Raji, Mohammad Sadegh
Rasooli, Sepideh Sadeghi, Erfan Sadeqi Azer, Niloofar Safi Samghabadi, Mahsa
Shafaei, Saber Sheybani, Ali Tazarv, Yadollah Yaghoobzadeh
- Abstract要約: この作品は、世界で広く話されている言語の1つであるペルシャ語に焦点を当てています。
このリッチ言語で利用可能なNLUデータセットは少ない。
ParsiNLUは、さまざまな高レベルのタスクを含むペルシャ語言語の最初のベンチマークです。
- 参考スコア（独自算出の注目度）: 23.26176232463948
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the progress made in recent years in addressing natural language
understanding (NLU) challenges, the majority of this progress remains to be
concentrated on resource-rich languages like English. This work focuses on
Persian language, one of the widely spoken languages in the world, and yet
there are few NLU datasets available for this rich language. The availability
of high-quality evaluation datasets is a necessity for reliable assessment of
the progress on different NLU tasks and domains. We introduce ParsiNLU, the
first benchmark in Persian language that includes a range of high-level tasks
-- Reading Comprehension, Textual Entailment, etc. These datasets are collected
in a multitude of ways, often involving manual annotations by native speakers.
This results in over 14.5$k$ new instances across 6 distinct NLU tasks.
Besides, we present the first results on state-of-the-art monolingual and
multi-lingual pre-trained language-models on this benchmark and compare them
with human performance, which provides valuable insights into our ability to
tackle natural language understanding challenges in Persian. We hope ParsiNLU
fosters further research and advances in Persian language understanding.
- Abstract（参考訳）: 近年の自然言語理解(NLU)問題への取り組みの進展にもかかわらず、この進歩の大部分は英語のような資源に富む言語に集中している。
この研究は、世界で最も広く話されている言語の一つであるペルシア語に焦点を当てているが、このリッチ言語で利用可能なNLUデータセットは少ない。
高品質な評価データセットの可用性は、異なるNLUタスクやドメインの進捗を確実に評価するために必要である。
私たちはペルシャ語で最初のベンチマークであるParsiNLUを紹介します。
これらのデータセットは、多数の方法で収集され、しばしばネイティブスピーカーによる手動アノテーションを含む。
これにより、6つの異なるNLUタスクにわたる14.5$k以上の新規インスタンスが生成される。
さらに,このベンチマークでは,最先端のモノリンガルおよび多言語事前学習言語モデルの最初の結果を提示し,人間のパフォーマンスと比較し,ペルシャにおける自然言語理解の課題に取り組む能力に関する貴重な知見を提供する。
ParsiNLUがペルシア語理解のさらなる研究と進歩を後押しすることを願っている。
関連論文リスト
- Khayyam Challenge (PersianMMLU): Is Your LLM Truly Wise to The Persian Language? [3.4812080203308984]
ハヤム・チャレンジ(Khayyam Challenge、ペルシア語MMLU)は、ペルシアの試験から抽出された38の多様なタスクから得られた20,192の4つの質問のコレクションである。
Khayyam Challengeの主な目的は、ペルシア語をサポートするLLMの厳格な評価を促進することである。
論文 参考訳（メタデータ） (2024-04-09T22:38:13Z) - Constructing and Expanding Low-Resource and Underrepresented Parallel Datasets for Indonesian Local Languages [0.0]
インドネシアの5つの言語を特徴とする多言語並列コーパスであるBhinneka Korpusを紹介する。
我々のゴールは、これらの資源へのアクセスと利用を強化し、国内へのリーチを広げることです。
論文 参考訳（メタデータ） (2024-04-01T09:24:06Z) - DIALECTBENCH: A NLP Benchmark for Dialects, Varieties, and Closely-Related Languages [49.38663048447942]
DIALECTBENCHは,NLPの品種に対する大規模ベンチマークとして初めて提案される。
これにより、異なる言語でNLPシステムの性能を総合的に評価することができる。
標準言語と非標準言語間の性能格差の相当な証拠を提供する。
論文 参考訳（メタデータ） (2024-03-16T20:18:36Z) - Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。
この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。
方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
論文 参考訳（メタデータ） (2024-01-11T03:04:38Z) - NusaWrites: Constructing High-Quality Corpora for Underrepresented and
Extremely Low-Resource Languages [54.808217147579036]
インドネシアの地方言語について事例研究を行う。
データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。
本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
論文 参考訳（メタデータ） (2023-09-19T14:42:33Z) - A Persian Benchmark for Joint Intent Detection and Slot Filling [3.633817600744528]
自然言語理解(NLU)は、機械が人間の言語を理解し、処理できるようにするため、今日の技術において重要である。
本稿では,低リソース言語におけるNLUの分野を前進させることの重要性を強調した。
ATISデータセットに基づいた共同意図検出とスロットフィリングのためのペルシャベンチマークを作成する。
論文 参考訳（メタデータ） (2023-03-01T10:57:21Z) - Expanding Pretrained Models to Thousands More Languages via
Lexicon-based Adaptation [133.7313847857935]
我々の研究は、NLPメソッドが現在の技術で不足している何千もの言語にどのように適応できるかを強調した。
3つのタスクにまたがる19の非表現言語に対して、我々の手法は、それぞれ追加のモノリンガルテキストによる最大5点と15点の改善をもたらす。
論文 参考訳（メタデータ） (2022-03-17T16:48:22Z) - IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and
Languages [87.5457337866383]
画像認識言語理解評価ベンチマークについて紹介する。
IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。
翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
論文 参考訳（メタデータ） (2022-01-27T18:53:22Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z) - CLUE: A Chinese Language Understanding Evaluation Benchmark [41.86950255312653]
最初の大規模中国語理解評価(CLUE)ベンチマークを紹介する。
CLUEは、確立された1文/文ペアの分類タスクにまたがる9つのタスクと、機械読み取りの理解を提供する。
我々は、現在最先端の中国のモデルを用いてスコアを報告する。
論文 参考訳（メタデータ） (2020-04-13T15:02:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。