論文の概要: Language Equality has a Price: A Systematic Investigation of Multi-turn LLM Performance for EU-24+
- arxiv url: http://arxiv.org/abs/2608.01395v1
- Date: Sun, 02 Aug 2026 17:20:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.193525
- Title: Language Equality has a Price: A Systematic Investigation of Multi-turn LLM Performance for EU-24+
- Title（参考訳）: 言語平等の価格:EU-24+におけるマルチターンLDM性能の体系的調査
- Abstract要約: すべての公用語において、両方の商用システムはすべてのオープンウェイトモデルを上回っ、最も弱い2つはEU-24全体で40ポイント以下である。
中国語は2つの中国製モデルで30言語中最強だが、どのモデルでも最高の中国語スコアは米国の商用システムに属する。
非英語の中央値は英語より31%高く、スコアは10%低い。
- 参考スコア（独自算出の注目度）: 13.870546465768443
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We evaluate large language models (LLMs) as language agents playing goal-directed dialogue games in self-play across 30 languages: the 24 official EU languages plus six others. Unlike static or preference-based evaluation, this paradigm is multi-turn, reference-free and programmatically scored, and because the game mechanics are language-agnostic it extends to a new language by localising a fixed set of prompt and word-list files. Evaluating nine open-weight and commercial LLMs, we find that no open-weight model covers the EU-24 well: in every official language both commercial systems outscore every open-weight model, and the two weakest average below 40 points across the EU-24. The commercial systems stay ahead even in languages with four orders of magnitude less public web text, showing that linguistic parity is achievable, but not from public crawls alone. A model's home region lifts it without closing the gap: Chinese is the strongest of all 30 languages for two Chinese-developed models, yet the best Chinese score of any model belongs to a US commercial system. Coverage is also not parity of service. Pooled over models and languages, the median non-English language costs 31% more to run than English, and scores 10% lower.
- Abstract（参考訳）: 我々は,大言語モデル(LLM)を,目標指向の対話ゲームをプレイする言語エージェントとして30言語(EU公式言語24言語+その他6言語)で評価した。
静的または嗜好に基づく評価とは異なり、このパラダイムはマルチターン、参照なし、プログラム的に評価され、ゲーム力学は言語に依存しないため、プロンプトとワードリストの固定セットをローカライズすることで新しい言語に拡張される。
オープンウェイトと商用のLLMを9つ評価すると、EU-24をカバーしているオープンウェイトモデルは存在しないことが分かりました。
商業システムは、4桁のウェブテキストの桁違いに少ない言語でも前進し続けており、言語的な同等性は達成可能であるが、公的なクロールだけでは得られないことを示している。
中国語は2つの中国製モデルで30言語中最強だが、どのモデルでも最高の中国語スコアは米国の商用システムに属する。
カバーも同等ではない。
モデルと言語を比べると、非英語の中央値は英語よりも31%高く、スコアは10%低い。
関連論文リスト
- DONDO: Open w2v-BERT Speech-Recognition Base Models for African Languages [0.0]
本稿では,アフリカ言語を対象としたオープンかつパーミッシブな自動音声認識(ASR)ベースモデルであるDONDOについて述べる。
DONDOは、21の単言語モデルと、27の言語変種にまたがる5つの多言語モデルからなる。
すべてのモデルはApache-2.0ライセンスの下でHugging Face KhayaAI組織でリリースされている。
論文 参考訳（メタデータ） (2026-07-23T17:25:08Z) - Multilingual Large Language Models do not comprehend all natural languages to equal degrees [3.1312895682585595]
大規模言語モデル(LLM)は、人間が情報にアクセスする方法において重要な役割を果たす。
ほとんどのベンチマークでは、西洋語、教育語、工業化語、リッチ語、民主語(WEIRD)の言語でLLMを評価する。
言語理解タスクにおいて,12言語にまたがる3つの人気モデルを提案する。
以上の結果から,類型的に多様な言語にまたがって,言語学的精度が著しく向上していることが示唆された。
論文 参考訳（メタデータ） (2026-02-23T17:22:46Z) - A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。
85.7%は単一のプログラミング言語に重点を置いている。
94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。
80%以上は平均10件未満のテストケースを含む。
論文 参考訳（メタデータ） (2025-09-30T11:30:08Z) - LoraxBench: A Multitask, Multilingual Benchmark Suite for 20 Indonesian Languages [45.640417004733166]
インドネシアの低リソース言語に焦点を当てたベンチマークであるLoraxBenchを紹介します。
我々のデータセットは、20言語をカバーし、3つの言語に2つの形式レジスタを追加しています。
本稿では,レジスタの変更がモデル性能に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2025-08-17T18:07:57Z) - M-Prometheus: A Suite of Open Multilingual LLM Judges [65.63858815169924]
M-Prometheusは,多言語出力の直接評価とペア比較フィードバックを両立できるオープンウェイトLLM判定器のスイートである。
M-Prometheusモデルは、20以上の言語にまたがる多言語報酬ベンチマークや、4つの言語対をカバーする文語機械翻訳(MT)評価において、最先端のLLM判事より優れている。
論文 参考訳（メタデータ） (2025-04-07T11:37:26Z) - Localizing AI: Evaluating Open-Weight Language Models for Languages of Baltic States [1.1470070927586016]
ローカルにデプロイ可能なオープンウェイトLLMがより少ない言語をサポートする範囲を評価する。
Llama3, Gemma2, Phi, NeMoの多言語オープンウェイトモデルのサイズと精度について検討した。
これらのモデルは、最先端の翻訳性能に近づきつつも、少なくとも20語に1回は誤りのある語彙幻覚を起こす傾向にある。
論文 参考訳（メタデータ） (2025-01-07T17:24:17Z) - Dictionary Insertion Prompting for Multilingual Reasoning on Multilingual Large Language Models [52.00446751692225]
textbfDictionary textbfInsertion textbfPrompting (textbfDIP) という,新規かつシンプルで効果的な方法を提案する。
非英語のプロンプトを提供する際、DIPは単語辞書を調べ、単語の英語のプロンプトをLLMのプロンプトに挿入する。
そして、英語へのより良い翻訳とより良い英語モデル思考のステップを可能にし、明らかにより良い結果をもたらす。
論文 参考訳（メタデータ） (2024-11-02T05:10:50Z) - IrokoBench: A New Benchmark for African Languages in the Age of Large Language Models [18.083861654053585]
IrokoBenchは17の原型的に異なる低リソースのアフリカ言語のための人間翻訳ベンチマークデータセットである。
IrokoBenchを使って、10のオープンおよび6つのプロプライエタリ言語モデルでゼロショット、少数ショット、および翻訳テストの設定(テストセットを英語に翻訳する)を評価します。
オープンモデルとプロプライエタリモデルの間には大きなパフォーマンスギャップがあり、最高パフォーマンスのオープンモデルであるGemma 2 27Bは、最高のパフォーマンスのプロプライエタリモデルであるGPT-4oのパフォーマンスの63%に過ぎません。
論文 参考訳（メタデータ） (2024-06-05T15:23:08Z) - Poro 34B and the Blessing of Multilinguality [3.270981284471548]
Poro 34Bは、フィンランド語、英語、プログラミング言語の1兆トークンのために訓練された34億のパラメータモデルである。
フィンランド語における既存モデルの能力を大幅に向上するモデルを,多言語学習アプローチにより生成できることが示される。
論文 参考訳（メタデータ） (2024-04-02T11:34:12Z) - Baichuan 2: Open Large-scale Language Models [51.34140526283222]
我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。
Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
論文 参考訳（メタデータ） (2023-09-19T04:13:22Z) - PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。
その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。
さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文 参考訳（メタデータ） (2023-07-12T09:00:37Z) - Massively Multilingual Shallow Fusion with Large Language Models [62.76735265311028]
複数の言語で浅い融合のための単一多言語言語モデル(LM)を訓練する。
GLaMは、推論中に同様の計算を行う密度の高いLMと比較して、イングランドのロングテールテストのWERを4.4%削減する。
多言語浅層融合タスクでは、GLaMは50言語中41言語を改善し、平均相対的なWERの3.85%、最大10%の削減を実現している。
論文 参考訳（メタデータ） (2023-02-17T14:46:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。