論文の概要: Measuring the Cross-Lingual Comprehension Gap: How the language of the evidence shapes what language models understand

• arxiv url: http://arxiv.org/abs/2608.06506v1
• Date: Thu, 06 Aug 2026 18:45:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.264793
• Title: Measuring the Cross-Lingual Comprehension Gap: How the language of the evidence shapes what language models understand
• Title（参考訳）: 言語間理解ギャップの測定 : 証拠の言語が言語モデルがどのように理解するか
• Abstract要約: 従来のベンチマークでは、コンテンツ、質問、参照回答、モデル、評価単位定数を保持しながら言語を分離することはめったにない。 言語間ギャップ(CLCG)を,同じ内容や疑問が英語ではなく対象言語で提示される場合の応答品質の低下として定義する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are often evaluated as though capabilities demonstrated in English remain equally available when the same content is presented in other languages. Traditional multilingual benchmarks rarely isolate language while holding content, question, reference answer, model, and evaluation unit constant. We define the Cross-Lingual Comprehension Gap (CLCG) as the reduction in response quality when the same content and question are presented in a target language rather than in English. Using ParallelQA-18, a professionally human-translated parallel corpus, we evaluate five models from five laboratories on a stratified sample of 150 articles across 18 languages (English reference; Portuguese high-resource baseline; 16 targets spanning Joshi et al. 2020 classes 0-4). A within-item design varies only passage language. The primary estimator contrasts English versus pooled target-language Token-F1 micro-means on higher-complexity open-ended questions, with article-cluster bootstrap intervals. The primary pooled CLCG is 0.078 (95% CI 0.072-0.084), about a 17% reduction relative to the English score; the equal-language macro summary is 0.077. Net of Portuguese, the macro gap is 0.016 (95% CI 0.013-0.020). Language-level CLCG is negatively associated with Joshi resource class (rho = -0.594, p = 0.015, n = 16). In blinded paired human evaluations, higher-resource responses are preferred in 61.6% of decisive judgments (estimated preference probability 0.655, 95% CI 0.558-0.741). Capabilities shown in English should not be assumed to transfer equally to other languages; English-centered evaluations may overestimate quality for users of low-resource languages.
• Abstract（参考訳）: 言語モデルはしばしば、英語で示される能力が、他の言語で同じ内容が提示されるときに等しく利用可能であるかのように評価される。 従来の多言語ベンチマークでは、コンテンツ、質問、参照回答、モデル、評価単位定数を保持しながら言語を分離することは滅多にない。 我々は,言語間言語理解ギャップ (CLCG) を,同じ内容や疑問が英語ではなく対象言語で提示される場合の応答品質の低下として定義する。 専門家が翻訳した並列コーパスであるParallelQA-18を用いて,18言語にまたがる150の項目の階層化サンプルを用いて,5つの実験室から5つのモデルを評価する。 内面デザインは、通過言語のみによって異なる。 主推定器は、より複雑でオープンな質問に対して英語とプールされたターゲット言語であるToken-F1マイクロ平均を、記事クラスタブートストラップ間隔で比較する。 一次プール化CLCGは0.078(95% CI 0.072-0.084)であり、イングランドのスコアに比べて約17%減少し、同種のマクロサマリーは0.077である。 マクロギャップは 0.016 (95% CI 0.013-0.020) である。 言語レベルのCLCGは、Joshiリソースクラス(rho = -0.594, p = 0.015, n = 16)と負の関連がある。 盲目対評価では、高いリソース応答が61.6%の判定(推定好み確率0.655、95% CI 0.558-0.741)で好ましい。 英語で示される能力は、他の言語に等しく移行すべきではなく、低リソース言語のユーザにとって、英語中心の評価は品質を過大評価する可能性がある。

関連論文リスト

• On the Limitations of Cross-Lingual Consistency in Multilingual Text-to-image Generation [79.18001266925245]
  LingT2Iは、33Kプロンプトを持つ10の広く使われている言語をカバーするベンチマークである。 我々は、言語不平等と言語依存のトレードオフを明らかにする包括的な言語間分析を行う。
  論文  参考訳（メタデータ） (2026-08-11T14:49:23Z)
• Lower-Resource, Higher Scores: Language Bias in LLM Evaluators [27.959960538188753]
  意味論的に同一の命令応答対を23言語で実験する。 その結果、多言語評価器は異なる評価言語に大きく異なるスコアを割り当てていることがわかった。
  論文  参考訳（メタデータ） (2026-07-16T01:53:09Z)
• CAPITU: A Benchmark for Evaluating Instruction-Following in Brazilian Portuguese with Literary Context [8.678622777553267]
  CAPITUは、ブラジルポルトガル語でLLM(Large Language Models)の命令追従能力を評価するためのベンチマークである。 ベンチマークは59の命令タイプを7つのカテゴリに分類し、すべて自動的に検証できるように設計されている。 シングルターンおよびマルチターン設定における18の最先端モデルを評価する。
  論文  参考訳（メタデータ） (2026-03-23T21:16:54Z)
• Left Behind: Cross-Lingual Transfer as a Bridge for Low-Resource Languages in Large Language Models [0.0]
  我々は、英語、カザフ語、モンゴル語で、精度、流布度、完全性に関する大規模な言語モデルをベンチマークする。 英語と低リソースの言語条件の間には,13.8～16.7ポイントという一貫したパフォーマンスギャップがある。
  論文  参考訳（メタデータ） (2026-03-22T03:27:47Z)
• Polyglot-Lion: Efficient Multilingual ASR for Singapore via Balanced Fine-Tuning of Qwen3-ASR [1.7802147489386628]
  本稿ではシンガポールの言語景観に合わせたコンパクトな多言語自動音声認識(ASR)モデルであるPolyglot-Lionを紹介する。 提案手法は,Qwen3-ASR-0.6BとQwen3-ASR-1.7Bを公開音声コーパスのみに微調整することで得られる。 4つの言語にまたがる12のベンチマークで、Polyglot-Lion-1.7Bは平均エラーレート14.85に達し、MERaLiON-2-10B-ASR (14.32)と競合する。 推論スループットはMERaLiONの0.10 s/sampleより約20倍速い
  論文  参考訳（メタデータ） (2026-03-17T07:09:42Z)
• A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
  35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。 85.7%は単一のプログラミング言語に重点を置いている。 94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。 80%以上は平均10件未満のテストケースを含む。
  論文  参考訳（メタデータ） (2025-09-30T11:30:08Z)
• MuBench: Assessment of Multilingual Capabilities of Large Language Models Across 61 Languages [33.450081592217074]
  MuBenchは61の言語をカバーし、幅広い機能を評価するベンチマークです。 我々は、最先端の多言語LLMを評価し、請求項と実際の言語カバレッジとの間に顕著なギャップを見いだした。
  論文  参考訳（メタデータ） (2025-06-24T09:53:00Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• INJONGO: A Multicultural Intent Detection and Slot-filling Dataset for 16 African Languages [15.983678567785004]
  スロットフィリングとインテント検出は、会話型AIにおいて確立されたタスクである。 Injongoは16のアフリカ言語のための、多文化でオープンソースのベンチマークデータセットです。 アフリカ文化の発話を西洋中心の発話に活用して言語間移動を改善する利点を示す。
  論文  参考訳（メタデータ） (2025-02-13T23:17:10Z)
• CIF-Bench: A Chinese Instruction-Following Benchmark for Evaluating the Generalizability of Large Language Models [53.9835961434552]
  本研究では,中国語に対する大規模言語モデル(LLM)の一般化性を評価するために,中国語命令追跡ベンチマーク(CIF-Bench)を導入する。 CIF-Benchは150のタスクと15,000の入力出力ペアで構成され、複雑な推論と中国の文化的ニュアンスをテストするためにネイティブスピーカーによって開発された。 データ汚染を軽減するため、データセットの半分しか公開せず、残りは非公開であり、スコア分散を最小限に抑えるために多種多様な命令を導入する。
  論文  参考訳（メタデータ） (2024-02-20T16:02:12Z)
• OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
  文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。 大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。 実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
  論文  参考訳（メタデータ） (2022-05-17T19:52:42Z)
• AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
  我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。 は、アメリカ大陸の10の原住民の言語である。 XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。 XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
  論文  参考訳（メタデータ） (2021-04-18T05:32:28Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。