論文の概要: Evaluating Language Tools for Fifteen EU-official Under-resourced Languages

• arxiv url: http://arxiv.org/abs/2010.12428v1
• Date: Fri, 23 Oct 2020 14:21:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 22:33:24.424653
• Title: Evaluating Language Tools for Fifteen EU-official Under-resourced Languages
• Title（参考訳）: EU公式アントラリソース言語15の言語ツールの評価
• Authors: Diego Alves, Gaurish Thakkar, Marko Tadi\'c
• Abstract要約: 本稿では、EUの公式なアントラリソース言語15言語を対象に、言語ツールの評価キャンペーンの結果について述べる。 この評価は、言語横断的なイベント中心の知識処理を構築することを目的としたMSC ITN CLEOPATRAアクションで実施された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article presents the results of the evaluation campaign of language tools available for fifteen EU-official under-resourced languages. The evaluation was conducted within the MSC ITN CLEOPATRA action that aims at building the cross-lingual event-centric knowledge processing on top of the application of linguistic processing chains (LPCs) for at least 24 EU-official languages. In this campaign, we concentrated on three existing NLP platforms (Stanford CoreNLP, NLP Cube, UDPipe) that all provide models for under-resourced languages and in this first run we covered 15 under-resourced languages for which the models were available. We present the design of the evaluation campaign and present the results as well as discuss them. We considered the difference between reported and our tested results within a single percentage point as being within the limits of acceptable tolerance and thus consider this result as reproducible. However, for a number of languages, the results are below what was reported in the literature, and in some cases, our testing results are even better than the ones reported previously. Particularly problematic was the evaluation of NERC systems. One of the reasons is the absence of universally or cross-lingually applicable named entities classification scheme that would serve the NERC task in different languages analogous to the Universal Dependency scheme in parsing task. To build such a scheme has become one of our the future research directions.
• Abstract（参考訳）: 本稿では、EUの公式なアントラリソース言語15言語を対象に、言語ツールの評価キャンペーンの結果について述べる。 この評価は、少なくとも24のEUの公式言語に対する言語処理チェーン(LPC)の適用に基づいて、言語間イベント中心の知識処理を構築することを目的としたMSC ITN CLEOPATRAアクションで実施された。 このキャンペーンでは、我々は既存の3つのNLPプラットフォーム(Stanford CoreNLP、NLP Cube、UDPipe)に集中し、すべての言語がアンダーリソース言語のためのモデルを提供しています。 本稿では,評価キャンペーンの設計と,その評価結果について考察する。 我々は、報告結果と試験結果の違いを、許容許容許容範囲内である1パーセンテージ内で考慮し、その結果を再現可能なものとした。 しかし、多くの言語では、結果は文献で報告されたものを下回っており、いくつかのケースでは、以前報告したものよりもさらに良い結果が得られている。 特に問題なのはNERCシステムの評価であった。 理由の1つは、構文解析におけるUniversal Dependencyスキームに類似した言語でNERCタスクを機能させる普遍的または言語横断的に適用される名前付きエンティティ分類スキームが存在しないことである。 このような計画を構築することは、将来の研究の方向性の1つになっている。

関連論文リスト

• Quantifying Multilingual Performance of Large Language Models Across Languages [48.40607157158246]
  大規模言語モデル(LLM)は、英語、ドイツ語、フランス語のような高リソース言語で、低リソース言語の能力は依然として不十分である。 内部表現を用いたLLM性能に基づいて,言語をベンチマークし,ランク付けするための固有測度であるLanguage Rankerを提案する。 分析の結果,高リソース言語は英語との類似度が高く,性能が優れ,低リソース言語は類似度が低いことがわかった。
  論文  参考訳（メタデータ） (2024-04-17T16:53:16Z)
• DIALECTBENCH: A NLP Benchmark for Dialects, Varieties, and Closely-Related Languages [49.38663048447942]
  DIALECTBENCHは,NLPの品種に対する大規模ベンチマークとして初めて提案される。 これにより、異なる言語でNLPシステムの性能を総合的に評価することができる。 標準言語と非標準言語間の性能格差の相当な証拠を提供する。
  論文  参考訳（メタデータ） (2024-03-16T20:18:36Z)
• High-quality Data-to-Text Generation for Severely Under-Resourced Languages with Out-of-the-box Large Language Models [5.632410663467911]
  我々は、事前訓練された大規模言語モデル(LLM)が、アンダーリソース言語のパフォーマンスギャップを埋める可能性について検討する。 LLM は,低リソース言語における技術の現状を,かなりのマージンで容易に設定できることがわかった。 全ての言語について、人間の評価は最高のシステムで人間と同等のパフォーマンスを示すが、BLEUのスコアは英語に比べて崩壊する。
  論文  参考訳（メタデータ） (2024-02-19T16:29:40Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• A Multilingual Perspective Towards the Evaluation of Attribution Methods in Natural Language Inference [28.949004915740776]
  本稿では,自然言語推論(NLI)タスクに対する帰属的手法を評価するための多言語的手法を提案する。 まず,単語アライメントに基づいて忠実度を測定するための新たな言語間戦略を導入する。 次に、異なる出力機構と集約手法を考慮し、帰属手法の包括的な評価を行う。
  論文  参考訳（メタデータ） (2022-04-11T22:11:05Z)
• Monolingual and Cross-Lingual Acceptability Judgments with the Italian CoLA corpus [2.418273287232718]
  ItaCoLAコーパスは,受理性判定を伴う約1万文を含む。 また、多言語トランスフォーマーに基づくアプローチが、微調整中に2つの言語で文を使うことのメリットを評価できるかを評価することを目的とした、最初の言語間実験も提示する。
  論文  参考訳（メタデータ） (2021-09-24T16:18:53Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。