Fugu-MT 論文翻訳(概要): Correcting FLORES Evaluation Dataset for Four African Languages

論文の概要: Correcting FLORES Evaluation Dataset for Four African Languages

arxiv url: http://arxiv.org/abs/2409.00626v2
Date: Sat, 5 Oct 2024 19:02:31 GMT
ステータス: 処理完了
システム内更新日: 2024-11-08 03:46:24.910422
Title: Correcting FLORES Evaluation Dataset for Four African Languages
Title（参考訳）: アフリカ4言語に対するFLORES評価データセットの修正
Authors: Idris Abdulmumin, Sthembiso Mkhwanazi, Mahlatse S. Mbooi, Shamsuddeen Hassan Muhammad, Ibrahim Said Ahmad, Neo Putini, Miehleketo Mathebula, Matimba Shingange, Tajuddeen Gwadabe, Vukosi Marivate,
Abstract要約: オリジナルのデータセットは低リソース言語をカバーしているが、様々な不整合や不正確性を示した。ネイティブスピーカーによる綿密なレビュープロセスを通じて、いくつかの修正が特定され、実装された。我々の補正によって、データの言語的正確性と信頼性が向上すると考えている。
参考スコア（独自算出の注目度）: 2.552967468434151
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper describes the corrections made to the FLORES evaluation (dev and devtest) dataset for four African languages, namely Hausa, Northern Sotho (Sepedi), Xitsonga, and isiZulu. The original dataset, though groundbreaking in its coverage of low-resource languages, exhibited various inconsistencies and inaccuracies in the reviewed languages that could potentially hinder the integrity of the evaluation of downstream tasks in natural language processing (NLP), especially machine translation. Through a meticulous review process by native speakers, several corrections were identified and implemented, improving the overall quality and reliability of the dataset. For each language, we provide a concise summary of the errors encountered and corrected and also present some statistical analysis that measures the difference between the existing and corrected datasets. We believe that our corrections improve the linguistic accuracy and reliability of the data and, thereby, contribute to a more effective evaluation of NLP tasks involving the four African languages. Finally, we recommend that future translation efforts, particularly in low-resource languages, prioritize the active involvement of native speakers at every stage of the process to ensure linguistic accuracy and cultural relevance.
Abstract（参考訳）: 本稿では,アフリカ4言語(Hausa,Northern Sotho (Sepedi),Xitsonga,isiZulu)に対するFLORES評価データセットの修正について述べる。オリジナルのデータセットは低リソース言語をカバーしているが、レビューされた言語では様々な不整合や不正確性を示しており、自然言語処理(NLP)における下流タスクの評価の完全性、特に機械翻訳を妨げている可能性がある。ネイティブスピーカーによる綿密なレビュープロセスを通じて、いくつかの修正と実装が行われ、データセットの全体的な品質と信頼性が改善された。各言語に対して、遭遇した誤りの簡潔な要約と、既存のデータセットと修正されたデータセットの差を測定する統計分析を提供する。我々は,この修正によってデータの言語的正確性や信頼性が向上し,アフリカ4言語を含むNLPタスクをより効果的に評価できると考えている。最後に,言語的正確性と文化的関連性を確保するため,低リソース言語における今後の翻訳作業として,各段階におけるネイティブ話者の活発な関与を優先することを推奨する。

関連論文リスト

Transcending Language Boundaries: Harnessing LLMs for Low-Resource Language Translation [38.81102126876936]
本稿では,キーワードに着目して,低リソース言語における翻訳品質を向上させる新しい検索手法を提案する。本手法の有効性を評価するため,北米の絶滅危惧種であるチェロキー語,アジアにおける歴史的・文化的に重要な言語であるチベット語,話者がほとんどいない満州語という3つの低資源言語に英語から翻訳した実験を行った。 GPT-4oとLLaMA 3.1 405Bのゼロショット性能と比較すると、低リソース言語への変換において、これらのモデルが直面する重要な課題が浮き彫りになっている。
論文参考訳（メタデータ） (2024-11-18T05:41:27Z)
A Comparative Study of Translation Bias and Accuracy in Multilingual Large Language Models for Cross-Language Claim Verification [1.566834021297545]
本研究は,言語間クレーム検証における翻訳バイアスと大規模言語モデルの有効性を体系的に評価する。本稿では,事前翻訳と自己翻訳の2つの異なる翻訳手法について検討する。その結果,低リソース言語では表現不足による直接推論の精度が著しく低いことが明らかとなった。
論文参考訳（メタデータ） (2024-10-14T09:02:42Z)
A Data Selection Approach for Enhancing Low Resource Machine Translation Using Cross-Lingual Sentence Representations [0.4499833362998489]
本研究は,既存のデータセットが特に騒々しい英語-マラティー語対の事例に焦点を当てた。データ品質問題の影響を軽減するために,言語間文表現に基づくデータフィルタリング手法を提案する。その結果,IndicSBERTによるベースラインポストフィルタよりも翻訳品質が大幅に向上した。
論文参考訳（メタデータ） (2024-09-04T13:49:45Z)
Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文参考訳（メタデータ） (2023-10-23T17:42:01Z)
NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
インドネシアの地方言語について事例研究を行う。データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
論文参考訳（メタデータ） (2023-09-19T14:42:33Z)
Large language models effectively leverage document-level context for literary translation, but critical errors persist [32.54546652197316]
大規模言語モデル(LLM)は、幅広い文レベルの翻訳データセット上での最先端技術と競合する。我々は,Gpt-3.5 (text-davinci-003) LLM) を用いて文節全体を翻訳し,高品質な翻訳を行うという厳密な評価を通して示す。
論文参考訳（メタデータ） (2023-04-06T17:27:45Z)
MasakhaNER 2.0: Africa-centric Transfer Learning for Named Entity Recognition [55.95128479289923]
アフリカ系言語は10億人を超える人々によって話されているが、NLPの研究や開発ではあまり語られていない。我々は、20のアフリカ言語で最大の人間アノテーション付きNERデータセットを作成します。最適な転送言語を選択すると、ゼロショットF1スコアが平均14ポイント向上することを示す。
論文参考訳（メタデータ） (2022-10-22T08:53:14Z)
No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
論文参考訳（メタデータ） (2022-07-11T07:33:36Z)
On the Language Coverage Bias for Neural Machine Translation [81.81456880770762]
言語カバレッジバイアスは、ニューラルネットワーク翻訳(NMT)において重要である。実験を慎重に設計することにより、トレーニングデータにおける言語カバレッジバイアスの包括的分析を行う。本稿では,言語カバレッジバイアス問題を軽減するための,シンプルで効果的な2つのアプローチを提案する。
論文参考訳（メタデータ） (2021-06-07T01:55:34Z)
TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文参考訳（メタデータ） (2021-03-21T17:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。