論文の概要: Gold vs.~Translation: Are We Measuring Language, Knowledge, or Locality in Translated Benchmarks?

• arxiv url: http://arxiv.org/abs/2610.38788v1
• Date: Wed, 28 Oct 2026 19:56:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 08:43:10.800916
• Title: Gold vs.~Translation: Are We Measuring Language, Knowledge, or Locality in Translated Benchmarks?
• Title（参考訳）: Gold vs.~Translation: 翻訳ベンチマークで言語、知識、あるいは局所性を測定するか?
• Abstract要約: 英オリジンベンチマークの翻訳版は、英語以外の言語で大きな言語モデルを評価するために広く使われている。 我々は、DeepLで翻訳されたMMLUプロキシを、5つの北欧語とバルト語にまたがる7つのペアで6つのネイティブベンチマークと比較した。 同じロバスト性基準を7つのペアに当てはめれば、4つのロバスト効果、2つのラウンシャル効果、1つのヌル結果が得られる。
• 参考スコア（独自算出の注目度）: 9.576859079734731
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Translated versions of English-origin benchmarks such as MMLU are widely used to evaluate large language models in non-English languages, yet it remains unclear whether they measure the same constructs as natively created benchmarks. We frame this as a proxy validity question and compare DeepL-translated MMLU proxies against six native benchmarks in seven pairings across five Nordic and Baltic languages, evaluating 29 models on each pairing. Beyond ranking agreement, we test incremental proxy validity: does the translated score add predictive value for native performance after controlling for model size and language proficiency? Proxy validity varies substantially across benchmark pairings. Applying the same robustness criteria to all seven pairings, we find four robust effects, two marginal effects, and one null result. The strongest evidence occurs for curriculum-overlap benchmarks such as Skolprov ($ΔR^2$=.128, 95% CI [.038,.253]), whereas translated MMLU provides no significant incremental value for Sweden-specific factual knowledge in SwedishFacts (p=.242). Because SwedishFacts is also the only open-ended benchmark, we cannot fully separate the effects of local content and response format. Overall, the results indicate a clear pattern: translated benchmarks provide a better proxy when their source content overlaps with the native evaluation target, while locally anchored knowledge is less reliably captured.
• Abstract（参考訳）: MMLUのような翻訳版の英語-オリジンベンチマークは、非英語言語における大きな言語モデルを評価するために広く使われているが、ネイティブに作成されたベンチマークと同じ構造を計測するかどうかは不明である。 我々はこれをプロキシ妥当性の質問として、DeepLで翻訳されたMMLUプロキシを、5つの北欧語とバルト語をまたいだ7つのペアリングで6つのネイティブベンチマークと比較し、ペアリング毎に29のモデルを評価する。 翻訳されたスコアは、モデルのサイズと言語習熟度を制御した後、ネイティブパフォーマンスに予測値を追加しますか? 確率的妥当性はベンチマークペアリングによって大きく異なる。 同じロバスト性基準を7つのペアに当てはめれば、4つのロバスト効果、2つのラウンシャル効果、1つのヌル結果が得られる。 Skolprov(ΔR^2$=.128, 95% CI[.038,.253])のようなカリキュラムオーバーラップのベンチマークでは最も強い証拠がみられ、一方、翻訳されたMMLUはスウェーデン固有のスウェーデンファクト(p=.242)の事実知識に顕著な付加価値を与えていない。 また、SwishFactsは唯一のオープンエンドベンチマークであるため、ローカルコンテンツとレスポンスフォーマットの影響を完全に分離することはできない。 翻訳されたベンチマークは、ソースコンテンツがネイティブ評価対象と重複する場合により良いプロキシを提供するが、局所的なアンロックされた知識は、確実に捕捉されない。

関連論文リスト

• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• Lower-Resource, Higher Scores: Language Bias in LLM Evaluators [27.959960538188753]
  意味論的に同一の命令応答対を23言語で実験する。 その結果、多言語評価器は異なる評価言語に大きく異なるスコアを割り当てていることがわかった。
  論文  参考訳（メタデータ） (2026-07-16T01:53:09Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
  9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。 MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。 XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
  論文  参考訳（メタデータ） (2026-04-16T12:27:10Z)
• Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets [2.0199251985015434]
  データセットとベンチマークのスケーラブルで高品質な翻訳を可能にするために,完全に自動化されたフレームワークを提案する。 このアプローチを適用して、人気のあるベンチマークとデータセットを8つの東欧と南欧の言語に翻訳します。
  論文  参考訳（メタデータ） (2026-02-25T18:58:25Z)
• RustRepoTrans: Repository-level Code Translation Benchmark Targeting Rust [50.65321080814249]
  RustRepoTransは、インクリメンタル翻訳をターゲットにした、最初のリポジトリレベルのコンテキストコード変換ベンチマークである。 複雑な翻訳シナリオの制約を評価するために, 7つの代表的なLLMを評価し, それらの誤差を分析した。
  論文  参考訳（メタデータ） (2024-11-21T10:00:52Z)
• AAVENUE: Detecting LLM Biases on NLU Tasks in AAVE via a Novel Benchmark [5.947336294686441]
  AAVENUE は、AAVE と Standard American English の NLU タスクにおける大きな言語モデル (LLM) のパフォーマンスを評価するためのベンチマークである。 AAVENUE と VALUE の翻訳を,5つの人気のある LLM と,フルーエンシ,BARTScore,品質,コヒーレンス,理解可能性などの総合的な指標を用いて比較した。 評価の結果, LLM は AAVE に翻訳されたバージョンよりも, SAE タスクで一貫した性能が向上し, 固有のバイアスが強調された。
  論文  参考訳（メタデータ） (2024-08-27T07:56:35Z)
• SEAHORSE: A Multilingual, Multifaceted Dataset for Summarization Evaluation [52.186343500576214]
  本稿では,多言語・多面的要約評価のためのデータセットSEAHORSEを紹介する。 SEAHORSEは、テキスト品質の6次元に沿って人間格付けされた96Kの要約で構成されている。 本稿では,SEAHORSEでトレーニングしたメトリクスが,ドメイン外メタ評価ベンチマークTRUEとmFACEで高い性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-22T16:25:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。