論文の概要: The State and Fate of Multilingual, Contextual Evaluation in the NLP World
- arxiv url: http://arxiv.org/abs/2610.36990v1
- Date: Tue, 27 Oct 2026 10:37:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.259658
- Title: The State and Fate of Multilingual, Contextual Evaluation in the NLP World
- Title（参考訳）: NLP世界における多言語・文脈評価の現状と課題
- Abstract要約: 本稿では,242のデータセットと219の言語にまたがる51の多言語ベンチマークについて,データ駆動による監査を行った。
分析の結果,1つのベンチマークで評価された言語のうち36%は,カバー範囲が広くて薄いことが判明した。
評価フレームワーク構築のための具体的な推奨事項として,これらの知見を合成する。
- 参考スコア（独自算出の注目度）: 13.349959712135492
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Multilingual evaluation benchmarks are the primary instrument for assessing whether large language models generalize beyond English, yet the adequacy of these benchmarks has received little systematic scrutiny. We present a data-driven audit of 51 recent multilingual benchmarks spanning 242 datasets and 219 languages, organized around three pillars: coverage, representativeness, and rigor. Our analysis reveals that coverage is wide but thin with 36% of evaluated languages appearing in only a single benchmark, entire regions (Oceania, the Americas, Central Asia) are near-zero, and a stark task equity gap leaves low-resource languages evaluated on only 1-3 task categories versus 14 for high-resource languages. Representativeness is structurally compromised: translation from English remains the dominant construction strategy where 56% of all dataset-language instances are translated introducing artifacts and English-centric framing, while culturally grounded content is concentrated in a handful of community-driven benchmarks with narrow language scope. The ecosystem thus forces a trade-off between breadth and validity. Rigor is undermined by benchmark contamination, including translated benchmark leakage and parallel corpus overlap that evade surface-form detection. We synthesize these findings into concrete recommendations for building evaluation frameworks that are natively constructed, culturally grounded, contamination-aware, and designed to serve the communities whose languages they claim to evaluate. The dashboard with all the metadata collected can be found at https://aka.ms/multilingual-evals.
- Abstract（参考訳）: 多言語評価ベンチマークは、大きな言語モデルが英語を超えて一般化するかどうかを評価する主要な手段であるが、これらのベンチマークの妥当性は体系的な精査をほとんど受けていない。
データ駆動型監査では,242のデータセットと219の言語にまたがる51の多言語ベンチマークを,カバレッジ,代表性,厳格性という3つの柱を中心に実施した。
分析の結果,1つのベンチマークで評価対象言語が36%,全地域(オセアニア,アメリカ,中央アジア)がほぼゼロであり,タスクエクイティギャップは1～3のタスクカテゴリで評価された低リソース言語と,高リソース言語では14であることがわかった。
すべてのデータセット言語インスタンスの56%がアーティファクトや英語中心のフレーミングを導入して翻訳されている一方で、文化的な根拠のあるコンテンツは、狭い言語範囲のコミュニティ主導のベンチマークに集中している。
そのため、エコシステムは広さと妥当性のトレードオフを強いる。
Rigorは、変換されたベンチマークリークや、表面形状検出を回避するための並列コーパスオーバーラップなど、ベンチマーク汚染によって損なわれている。
本研究では,これらの知見を,自然に構築され,文化的に根ざし,汚染に気付き,評価を主張するコミュニティに役立てるために設計された,評価フレームワーク構築のための具体的な勧告に合成する。
すべてのメタデータを収集したダッシュボードはhttps://aka.ms/multilingual-evalsで見ることができる。
関連論文リスト
- Dataset Scarcity Limits Robust Evaluation of Multilingual Embedding Models: A Case Study of Slavic Languages [3.9407886544063384]
本稿では,データセット不足下での多言語埋め込みベンチマーク解析のための2次元フレームワークを提案する。
このフレームワークは,3つの相補的な側面を共同で分析しながら,タスク固有の評価とタスク間の評価を区別する。
スラヴ語とタスクのペアの多くは、単一のデータセットや高い相関のベンチマークコレクションに依存しています。
論文 参考訳（メタデータ） (2026-08-25T12:23:31Z) - Language-Specific Gaps in AI Safety Training Datasets [0.0]
セルフハームと性的コンテンツカテゴリーは、我々が研究したアフリカ系アメリカ人層において、母国語をカバーしていない。
自傷行為と性行為のカテゴリーは、我々が研究したアフリカ系アメリカ人層において、母国語をカバーしていないことを示す。
論文 参考訳（メタデータ） (2026-08-13T18:40:22Z) - On the Limitations of Cross-Lingual Consistency in Multilingual Text-to-image Generation [79.18001266925245]
LingT2Iは、33Kプロンプトを持つ10の広く使われている言語をカバーするベンチマークである。
我々は、言語不平等と言語依存のトレードオフを明らかにする包括的な言語間分析を行う。
論文 参考訳（メタデータ） (2026-08-11T14:49:23Z) - Extending Item Response Theory for Efficient and Meaningful Multilingual Evaluation [19.965981631741894]
マルチ言語ベンチマークは、言語全体にわたる大規模言語モデル(LLM)の評価の中心である。
徹底的な評価は言語数とともに線形にスケールし、自動翻訳はスケールで見落とされるエラーを導入し、いくつかの項目は一般的な知識と文化固有の知識を詳述する。
我々はこれら3つを統一的な統計フレームワークであるMultilingual-IRTで解決し、言語ごとの難易度差による項目応答理論を拡張した。
論文 参考訳（メタデータ） (2026-06-14T07:16:03Z) - Culturally-Adapted Red-Teaming Across East and Southeast Asian Contexts: A Methodological and Comparative Analysis [2.8523456804049885]
我々は,4言語で1:1のシードマッチングを用いて,DTと文化的適応データセットのペアを構築した。
攻撃成功率(ASR)と文化リアリズムのスコアを4つのオープンソース安全評価と比較した。
論文 参考訳（メタデータ） (2026-06-08T08:17:18Z) - The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。
まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。
第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。
第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
論文 参考訳（メタデータ） (2026-04-22T06:19:46Z) - Comprehension of Multilingual Expressions Referring to Target Objects in Visual Inputs [47.944645462877894]
Referring Expression (REC) は、自然言語の記述に基づいてオブジェクトを画像にローカライズするモデルを必要とする。
この研究は2つの主要な貢献を通じて多言語RECに対処する。
10言語にまたがる統合多言語データセットを構築し、機械翻訳と文脈に基づく翻訳拡張により、既存の12のRECベンチマークを体系的に拡張する。
得られたデータセットは、177,620の画像にまたがる800万の多言語参照表現と、336,882の注釈付きオブジェクトで構成されている。
論文 参考訳（メタデータ） (2025-11-14T15:54:34Z) - No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。
何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。
本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
論文 参考訳（メタデータ） (2022-07-11T07:33:36Z) - IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and
Languages [87.5457337866383]
画像認識言語理解評価ベンチマークについて紹介する。
IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。
翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
論文 参考訳（メタデータ） (2022-01-27T18:53:22Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。