論文の概要: EthioMT: Parallel Corpus for Low-resource Ethiopian Languages

• arxiv url: http://arxiv.org/abs/2403.19365v1
• Date: Thu, 28 Mar 2024 12:26:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 16:24:00.679880
• Title: EthioMT: Parallel Corpus for Low-resource Ethiopian Languages
• Title（参考訳）: EthioMT:低リソースエチオピア言語のための並列コーパス
• Authors: Atnafu Lambebo Tonja, Olga Kolesnikova, Alexander Gelbukh, Jugal Kalita,
• Abstract要約: 15言語用の新しい並列コーパスであるEthioMTを紹介する。 また、エチオピアのより優れた言語のためのデータセットを収集して、新しいベンチマークを作成する。 トランスフォーマーと微調整手法を用いて,新たに収集したコーパスと23のエチオピア語に対するベンチマークデータセットを評価した。
• 参考スコア（独自算出の注目度）: 49.80726355048843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research in natural language processing (NLP) has achieved impressive performance in tasks such as machine translation (MT), news classification, and question-answering in high-resource languages. However, the performance of MT leaves much to be desired for low-resource languages. This is due to the smaller size of available parallel corpora in these languages, if such corpora are available at all. NLP in Ethiopian languages suffers from the same issues due to the unavailability of publicly accessible datasets for NLP tasks, including MT. To help the research community and foster research for Ethiopian languages, we introduce EthioMT -- a new parallel corpus for 15 languages. We also create a new benchmark by collecting a dataset for better-researched languages in Ethiopia. We evaluate the newly collected corpus and the benchmark dataset for 23 Ethiopian languages using transformer and fine-tuning approaches.
• Abstract（参考訳）: 自然言語処理(NLP)の最近の研究は、機械翻訳(MT)、ニュース分類、高リソース言語における質問応答などのタスクにおいて、目覚ましい性能を達成している。 しかし、MTの性能は低リソース言語に多くを望まざるを得ない。 これは、これらの言語で利用可能な並列コーパスが小さくなったためである。 エチオピア語におけるNLPは、MTを含むNLPタスクのための公開アクセスデータセットが利用できないため、同じ問題に悩まされている。研究コミュニティを支援し、エチオピア語の研究を促進するために、EthioMTという15言語用の新しい並列コーパスを導入する。 また、エチオピアのより優れた言語のためのデータセットを収集して、新しいベンチマークを作成する。 トランスフォーマーと微調整手法を用いて,新たに収集したコーパスと23のエチオピア語に対するベンチマークデータセットを評価した。

関連論文リスト

• Low-Resource Machine Translation through the Lens of Personalized Federated Learning [26.436144338377755]
  異種データを用いた自然言語処理に適用可能な新しい手法を提案する。 大規模多言語機械翻訳共有タスクのデータセットを用いて,低リソース機械翻訳タスク上で評価を行った。 MeritFedは、その効果に加えて、トレーニングに使用する各言語の影響を追跡するために適用できるため、高度に解釈可能である。
  論文  参考訳（メタデータ） (2024-06-18T12:50:00Z)
• EthioLLM: Multilingual Large Language Models for Ethiopian Languages with Task Evaluation [24.060772057458685]
  本稿では,エチオピア語5言語(Amharic, Ge'ez, Afan Oromo, Somali, Tigrinya)と英語の多言語大言語モデルであるEthioLLMを紹介する。 我々は,5つの下流自然言語処理(NLP)タスクにおいて,これらのモデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-03-20T16:43:42Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Extending Multilingual Machine Translation through Imitation Learning [60.15671816513614]
  Imit-MNMTは、タスクを専門家の行動を模倣する模倣学習プロセスとして扱う。 提案手法は,新言語と原言語の翻訳性能を大幅に向上させることを示す。 我々はまた、我々のアプローチがコピーとオフターゲットの問題を解決することができることを示した。
  論文  参考訳（メタデータ） (2023-11-14T21:04:03Z)
• Ngambay-French Neural Machine Translation (sba-Fr) [16.55378462843573]
  アフリカや世界全体では、言語障壁を克服するニューラルネットワーク翻訳(NMT)システムの開発に注目が集まっている。 このプロジェクトでは,Ngambay-to- French翻訳のコーパスである,最初のsba-Frデータセットを作成しました。 実験の結果,M2M100モデルは,オリジナルとオリジナルの両方の合成データに対して,BLEUスコアの高い他のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-25T17:13:20Z)
• Natural Language Processing in Ethiopian Languages: Current State, Challenges, and Opportunities [3.6328558641172553]
  この調査は、Amharic、Afaan Oromo、Tigrinya、Wolayttaの4つのエチオピア語に対する自然言語処理(NLP)の現状を掘り下げるものである。
  論文  参考訳（メタデータ） (2023-03-25T09:04:29Z)
• Language Agnostic Multilingual Information Retrieval with Contrastive Learning [59.26316111760971]
  本稿では,多言語情報検索システムの学習方法を提案する。 並列コーパスと非並列コーパスを利用して、事前訓練された多言語言語モデルを改善する。 我々のモデルは少数のパラレル文でもうまく機能する。
  論文  参考訳（メタデータ） (2022-10-12T23:53:50Z)
• AfroMT: Pretraining Strategies and Reproducible Benchmarks for Translation of 8 African Languages [94.75849612191546]
  AfroMTは、広く話されている8つのアフリカ言語のための標準化され、クリーンで再現可能な機械翻訳ベンチマークである。 これらの言語の特徴を考慮に入れたシステム診断のための分析ツール群を開発した。 11言語での事前トレーニングでは,強いベースラインに対して最大2つのBLEUポイントのゲインが得られた。
  論文  参考訳（メタデータ） (2021-09-10T07:45:21Z)
• A Large-Scale Study of Machine Translation in the Turkic Languages [7.3458368273762815]
  ニューラルマシン翻訳(NMT)の最近の進歩は、機械翻訳システムの品質を、競争力のあるシステムを構築するために広く採用されつつあるところまで押し上げている。 しかし、まだNMTのメリットを享受できていない言語はたくさんあります。 本稿では,テュルク語族におけるMTの実践的応用に関する,最初の大規模ケーススタディを提供する。
  論文  参考訳（メタデータ） (2021-09-09T23:56:30Z)
• Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation [54.52971020087777]
  モノリンガルデータを使用することで、マルチリンガルモデルにおける低リソース言語の翻訳品質が大幅に向上する。 自己監督は多言語モデルのゼロショット翻訳品質を改善する。 並列データやバックトランスレーションなしで、ro-en翻訳で最大33のBLEUを得る。
  論文  参考訳（メタデータ） (2020-05-11T00:20:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。