論文の概要: Artificially Fluent: Swahili AI Performance Benchmarks Between English-Trained and Natively-Trained Datasets

• arxiv url: http://arxiv.org/abs/2509.04516v1
• Date: Wed, 03 Sep 2025 03:25:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.351015
• Title: Artificially Fluent: Swahili AI Performance Benchmarks Between English-Trained and Natively-Trained Datasets
• Title（参考訳）: 人工フルエント:スワヒリAIのパフォーマンスベンチマーク
• Authors: Sophie Jaffer, Simeon Sayer,
• Abstract要約: 本研究は、Swahiliデータで完全にトレーニングされ、テストされた2つの単言語BERTモデルと、同等の英語ニュースデータで比較した。 このアプローチは、スワヒリの入力を英語モデルで評価するために翻訳すると、スワヒリで完全にモデルを訓練しテストするよりも、より良い性能が得られるかどうかを評価することによって仮説を検証する。 その結果、高品質な翻訳にもかかわらず、スワヒリ語学習モデルはスワヒリ語から英語への翻訳モデルよりも優れた性能を示し、それぞれ0.36%対1.47%の誤差が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) expand multilingual capabilities, questions remain about the equity of their performance across languages. While many communities stand to benefit from AI systems, the dominance of English in training data risks disadvantaging non-English speakers. To test the hypothesis that such data disparities may affect model performance, this study compares two monolingual BERT models: one trained and tested entirely on Swahili data, and another on comparable English news data. To simulate how multilingual LLMs process non-English queries through internal translation and abstraction, we translated the Swahili news data into English and evaluated it using the English-trained model. This approach tests the hypothesis by evaluating whether translating Swahili inputs for evaluation on an English model yields better or worse performance compared to training and testing a model entirely in Swahili, thus isolating the effect of language consistency versus cross-lingual abstraction. The results prove that, despite high-quality translation, the native Swahili-trained model performed better than the Swahili-to-English translated model, producing nearly four times fewer errors: 0.36% vs. 1.47% respectively. This gap suggests that translation alone does not bridge representational differences between languages and that models trained in one language may struggle to accurately interpret translated inputs due to imperfect internal knowledge representation, suggesting that native-language training remains important for reliable outcomes. In educational and informational contexts, even small performance gaps may compound inequality. Future research should focus on addressing broader dataset development for underrepresented languages and renewed attention to multilingual model evaluation, ensuring the reinforcing effect of global AI deployment on existing digital divides is reduced.
• Abstract（参考訳）: 大規模言語モデル(LLM)が多言語能力を拡大するにつれ、言語間でのパフォーマンスの公平性に関する疑問が残る。 多くのコミュニティはAIシステムの恩恵を受けているが、トレーニングデータにおける英語の優位性は、非英語話者を困惑させるリスクがある。 このようなデータ格差がモデルの性能に影響を及ぼす可能性があるという仮説をテストするために,本研究では,Swahiliデータで完全にトレーニング・テストされたモノリンガルBERTモデルと,同等の英語ニュースデータで比較した。 多言語LLMが内部翻訳と抽象化を通じて非英語クエリをどのように処理するかをシミュレートするために,スワヒリ語ニュースデータを英語に翻訳し,英語学習モデルを用いて評価した。 この手法は,スワヒリ語の入力を英語モデルで評価するために翻訳すると,スワヒリ語の完全モデルに対する訓練やテストよりも優れた性能が得られるか否かを評価することによって仮説を検証し,言語一貫性と言語間抽象化の効果を分離する。 その結果、高品質な翻訳にもかかわらず、スワヒリ語学習モデルはスワヒリ語から英語への翻訳モデルよりも優れた性能を示し、それぞれ0.36%対1.47%の誤差が得られた。 このギャップは、翻訳だけで言語間の表現的差異を橋渡ししないことを意味しており、ある言語で訓練されたモデルは、不完全な内部知識表現のために翻訳された入力を正確に解釈するのに苦労する可能性があることを示唆している。 教育的・情報的文脈では、小さなパフォーマンスギャップでさえ不平等を複雑にすることがある。 今後の研究は、表現不足の言語に対するより広範なデータセット開発への取り組みと、多言語モデル評価への新たな注目に焦点を当て、既存のデジタルディビジョンに対するグローバルAIデプロイメントの強化効果の低減に重点を置くべきである。

関連論文リスト

• Adapting Language Models to Indonesian Local Languages: An Empirical Study of Language Transferability on Zero-Shot Settings [1.1556013985948772]
  インドネシアの低リソース言語への事前学習言語モデルの転送性を評価する。 私たちはターゲット言語を、見る、見る、見る、見る、見えない3つのカテゴリに分類します。 マルチ言語モデルは、目に見える言語で、部分的に見られる言語では適度に、目に見えない言語では劣る。 対象言語にラベル付きデータを必要としないため,MAD-Xは性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-07-02T12:17:55Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• A Comparative Study of Translation Bias and Accuracy in Multilingual Large Language Models for Cross-Language Claim Verification [1.566834021297545]
  本研究は,言語間クレーム検証における翻訳バイアスと大規模言語モデルの有効性を体系的に評価する。 本稿では,事前翻訳と自己翻訳の2つの異なる翻訳手法について検討する。 その結果,低リソース言語では表現不足による直接推論の精度が著しく低いことが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-14T09:02:42Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• Zero-shot Cross-lingual Stance Detection via Adversarial Language Adaptation [7.242609314791262]
  本稿では,ゼロショット言語間スタンス検出,多言語翻訳拡張BERT (MTAB) に対する新しいアプローチを提案する。 本手法では,ゼロショット性能を向上させるために翻訳拡張を用い,モデルの有効性をさらに向上するために,対角学習と組み合わせる。 提案手法の有効性を実証し,強力なベースラインモデルと改良されたモデルとの比較を行った。
  論文  参考訳（メタデータ） (2024-04-22T16:56:43Z)
• Cross-lingual Transfer Learning for Check-worthy Claim Identification over Twitter [7.601937548486356]
  ソーシャルメディアに拡散する誤報は、疑わしいインフォデミックになっている。 本稿では,多言語BERT(mBERT)モデルを用いて,5つの多言語対をまたいだ言語間チェックハーネス推定のための6つの手法を体系的に検討する。 以上の結果から,いくつかの言語対では,ゼロショットの言語間移動が可能であり,対象言語で訓練された単言語モデルに匹敵する性能が得られた。
  論文  参考訳（メタデータ） (2022-11-09T18:18:53Z)
• On the Language Coverage Bias for Neural Machine Translation [81.81456880770762]
  言語カバレッジバイアスは、ニューラルネットワーク翻訳(NMT)において重要である。 実験を慎重に設計することにより、トレーニングデータにおける言語カバレッジバイアスの包括的分析を行う。 本稿では,言語カバレッジバイアス問題を軽減するための,シンプルで効果的な2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-07T01:55:34Z)
• A Hybrid Approach for Improved Low Resource Neural Machine Translation using Monolingual Data [0.0]
  多くの言語ペアは低リソースであるため、利用可能な並列データの量や品質は、ニューラルネットワーク翻訳(NMT)モデルをトレーニングするのに十分ではない。 本研究は, 後方モデルと前方モデルの両方が単言語的対象データから恩恵を受けられるような, 新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2020-11-14T22:18:45Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。