論文の概要: Measuring the Cost of Variety Conflation in Multilingual MT Evaluation: Adding Mozambican Xichangana, Nyanja and Sena to FLORES+

• arxiv url: http://arxiv.org/abs/2609.13847v1
• Date: Sat, 12 Sep 2026 10:02:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.582389
• Title: Measuring the Cost of Variety Conflation in Multilingual MT Evaluation: Adding Mozambican Xichangana, Nyanja and Sena to FLORES+
• Title（参考訳）: 多言語MT評価における品種衝突コストの測定:FLORESにモザンビーク・キシハンガナ, ニャンジャ, セナを加える
• Abstract要約: 我々は、Xichangana, Mozambican Nyanja, Senaの3種類のモザンビークバントゥー品種の評価セットでFLORES+を拡張した。 我々はXichanganaを既存のTsonga参照とMozambican NyanjaをChichewaと比較し、NLLB-200、Google Translate、GPT、変量対応NLLBモデルを評価した。
• 参考スコア（独自算出の注目度）: 0.07646713951724012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we extend FLORES+ with Portuguese-source evaluation sets for three Mozambican Bantu varieties: Xichangana, Mozambican Nyanja, and Sena. We compare Xichangana with the existing Tsonga reference and Mozambican Nyanja with Chichewa, and evaluate NLLB-200, Google Translate, GPT, and a variant-aware NLLB model. Holding system output fixed reveals substantial reference sensitivity. On \textit{devtest}, changing only the reference from Tsonga to Xichangana reduces spBLEU by 13.10 points for NLLB-200 and 15.30 for Google. On matched Nyanja subsets, replacing Chichewa with Mozambican Nyanja produces smaller but consistent reductions of 3.03 and 6.10 spBLEU, respectively. Variant-aware fine-tuning reverses this pattern on the intended targets: relative to NLLB-200, it improves Xichangana by 7.04 spBLEU and Mozambican Nyanja by 5.33 on \textit{devtest}, while losing performance on the sibling references. GPT is competitive on Tsonga and Chichewa but substantially weaker on the Mozambican varieties. For Sena, the finetuned model reaches 12.64 spBLEU and 36.21 chrF++ on \textit{devtest}. These findings motivate variety-aware language identifiers, references, and reporting for cross-border languages or language dialects/variants. The data is publicly available on Hugging Face at https://huggingface.co/datasets/MOZNLP/FLORES_MOZ
• Abstract（参考訳）: 本稿では,Xichangana, Mozambican Nyanja, Senaの3種類のモザンビークバントゥー品種に対するポルトガル語ソース評価セットを用いてFLORES+を拡張した。 我々はXichanganaを既存のTsonga参照とMozambican NyanjaをChichewaと比較し、NLLB-200、Google Translate、GPT、変量対応NLLBモデルを評価した。 システムの出力を固定しておくと、かなりの参照感度が明らかになる。 textit{devtest}では、TsongaからXichanganaへの参照だけを変更することで、NLLB-200のspBLEUは13.10ポイント、Googleの15.30ポイント削減される。 一致したNyanjaサブセットでは、ChichewaをMozambican Nyanjaに置き換えると、それぞれ3.03と6.10spBLEUの小さく、一貫して減少する。 NLLB-200と比較して、Xichanganaが7.04spBLEU、Mozambican Nyanjaが5.33改善され、兄弟参照のパフォーマンスが低下する。 GPTはソンガやチチェワでは競争力があるが、モザンビークの品種では著しく弱い。 Sena の場合、微調整されたモデルは \textit{devtest} 上で 12.64 spBLEU と 36.21 chrF++ に達する。 これらの知見は多言語対応言語識別子、参照、国境を越えた言語または言語方言/変種に対する報告を動機付けている。 データはHugging Face at https://huggingface.co/datasets/MOZNLP/FLORES_MOZで公開されている。

関連論文リスト

• L3Cube-MahaPOS: A Marathi Part-of-Speech Tagging Dataset and BERT Models [2.584263027095689]
  Part-of-Speech(POS)タグ付けは、機械翻訳、情報抽出、構文解析を支える基礎的なNLPタスクである。 マラティー語は8300万人以上の人々が話しており、世界でもトップ20の言語にランクインしている。 HMM, CRF, BiLSTM, BiLSTM+CharCNN, MuRIL, Marathi 固有の変換器 MahaBERT-v2 にまたがる6つのモデルファミリのデータセットをベンチマークした。 最高のシステムはトークンレベルの精度88.67%、マクロF1は15の評価タグクラスに対して81.67%である。
  論文  参考訳（メタデータ） (2026-06-23T17:10:46Z)
• Soohak: A Mathematician-Curated Benchmark for Evaluating Research-level Math Capabilities of LLMs [86.49905745865038]
  Soohakは64人の数学者によって新たに書かれた439プロブレムのベンチマークである。 データセットは2026年後半に公開され、中間で要求に応じてモデル評価が利用可能になる。
  論文  参考訳（メタデータ） (2026-05-09T17:14:22Z)
• Nsanku: Evaluating Zero-Shot Translation Performance of LLMs for Ghanaian Languages [0.03138897474419886]
  LLM(Large Language Model)は、オープンソースの言語に対する印象的な多言語機能を示す。 Nsankuは、43のガーナ言語にわたる19のオープンウェイトおよびプロプライエタリなLLMのゼロショット機械翻訳性能を評価する、体系的なベンチマークである。 モデルも言語も、高いパフォーマンスと高い一貫性を同時に備えたLeadersの四分の一には届かなかった。
  論文  参考訳（メタデータ） (2026-05-05T18:47:46Z)
• NepTam: A Nepali-Tamang Parallel Corpus and Baseline Machine Translation Experiments [2.0841194064751396]
  この研究は、20Kの金標準パラレルコーパスであるNepTam20Kと80Kの合成ネパール・タングパラレルコーパスであるNepTam80Kを開発した。 データセットはネパールのニュースやオンラインソースからのデータスクレーピングを含むパイプラインを通じて作成された。 このデータセットは、農業、健康、教育と技術、文化、一般コミュニケーションの5つの領域をカバーしている。
  論文  参考訳（メタデータ） (2026-03-14T17:48:00Z)
• NMIXX: Domain-Adapted Neural Embeddings for Cross-Lingual eXploration of Finance [34.00870877634332]
  汎用文埋め込みモデルは、しばしば専門的な財務意味論を捉えるのに苦労する。 NMIXXは18.8Kの高信頼三重項を微調整した言語間埋め込みモデルのスイートである。 KorFinSTSもリリースしています。これはニュース、開示、調査レポート、規制にまたがるベンチマークです。
  論文  参考訳（メタデータ） (2025-07-13T12:14:57Z)
• Aya Expanse: Combining Research Breakthroughs for a New Multilingual Frontier [72.5652085347547]
  8Bおよび32Bパラメータ多言語モデルの新世代であるAya Expanseモデルファミリを導入する。 Cohere For AIとCohereでの数年間の研究を活用することで、Aya Expanseは多言語パフォーマンスにおける新たな最先端技術を確立している。 Aya Expanse 8B と 32B が主要なオープンウェイトモデルより優れていることを示すために,23言語に翻訳された Arena-Hard-Auto データセットの評価を行った。
  論文  参考訳（メタデータ） (2024-12-05T15:41:06Z)
• Bilingual Evaluation of Language Models on General Knowledge in University Entrance Exams with Minimal Contamination [35.88131356701857]
  このデータセットは、スペイン語と英語の大学入学レベルの試験に関する1003の質問からなる。 現在のオープンソースモデルとプロプライエタリモデルの選択は、一様ゼロショット実験環境で評価される。
  論文  参考訳（メタデータ） (2024-09-19T13:13:07Z)
• Qwen2 Technical Report [141.0766756297144]
  本稿では,我々の大規模言語モデルと大規模マルチモーダルモデルへの最新の追加であるQwen2シリーズを紹介する。 Qwen2は、前身のQwen1.5を含む、これまでのほとんどのオープンウェイトモデルを超え、プロプライエタリモデルと比較して競争力のある性能を示している。 Qwen2は、英語、中国語、スペイン語、フランス語、ドイツ語、アラビア語、ロシア語、韓国語、日本語、タイ語、ベトナム語など、約30の言語で熟練した堅牢な多言語機能を示している。
  論文  参考訳（メタデータ） (2024-07-15T12:35:42Z)
• Feriji: A French-Zarma Parallel Corpus, Glossary & Translator [3.3073775218038883]
  本稿では,機械翻訳用に設計された最初のロバストなフレンチ・ザーマ並列コーパスと用語集であるFerijiを紹介する。 我々はデータセット上で3つの大きな言語モデルを微調整し、最高の性能モデルでBLEUスコア30.06を得る。
  論文  参考訳（メタデータ） (2024-06-09T19:08:33Z)
• Machine Translation for Nko: Tools, Corpora and Baseline Results [3.993732024424016]
  複数の西アフリカ諸国で何千万人もの人々が話しているNkoの機械翻訳システムはありません。 我々は,Nkoや他の言語を対象とした機械翻訳システムの開発を目的とした,一連のツール,リソース,ベースラインの成果を示す。
  論文  参考訳（メタデータ） (2023-10-24T08:27:56Z)
• SMaLL-100: Introducing Shallow Multilingual Machine Translation Model for Low-Resource Languages [102.50127671423752]
  本稿では,100言語をカバーするM2M-100(12B)機械翻訳モデルの蒸留版であるSMaLL-100を紹介する。 我々はSMALL-100を全ての言語対を均一にサンプリングすることで訓練し、低リソース言語の性能を維持することに重点を置いている。 我々のモデルはM2M-100(1.2B)に匹敵する結果を得るが、推論では3.6倍小さく、4.3倍高速である。
  論文  参考訳（メタデータ） (2022-10-20T22:32:29Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)
• MOROCCO: Model Resource Comparison Framework [61.444083353087294]
  我々は,50以上のNLUタスクをサポートするttjiant環境と互換性のある言語モデルを比較するフレームワークMOROCCOを提案する。 異なる言語で2つのGLUEライクなスイートに適用可能であることを示す。
  論文  参考訳（メタデータ） (2021-04-29T13:01:27Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。