論文の概要: DeepSEA: A Multilingual Evaluation Benchmark for Southeast Asia

• arxiv url: http://arxiv.org/abs/2610.26155v1
• Date: Mon, 19 Oct 2026 10:43:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 19:22:07.682976
• Title: DeepSEA: A Multilingual Evaluation Benchmark for Southeast Asia
• Title（参考訳）: DeepSEA: 東南アジアにおける多言語評価ベンチマーク
• Abstract要約: DeepSEAは、専門家による12の東南アジア言語への翻訳を通じてデータセットから構築されたベンチマークである。 Gemini-3.7-Flashのようなフロンティアモデルは、リソース層全体にわたって堅牢性を維持しているが、より小さなモデルは低リソース言語では深刻なパフォーマンス低下に直面している。 これらの発見が次世代の包括的多言語モデルの開発に光を当てることを願っている。
• 参考スコア（独自算出の注目度）: 23.25519115963574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While language models have demonstrated remarkable capabilities, their performance remains disproportionately skewed towards high-resource languages. This disparity is particularly acute for the 700 million inhabitants of Southeast Asia, where vast linguistic diversity remains under-represented in existing benchmarks, often suffering from limited language coverage or narrow task scopes. To address this, we introduce DeepSEA, a comprehensive benchmark constructed from established datasets through professional human translation into 12 Southeast Asian languages, spanning both high-resource (e.g., Indonesian, Thai, Vietnamese) and low-resource (e.g., Burmese, Khmer, Lao) tiers across five distinct tasks: mathematical reasoning, scientific reasoning, question answering, abstractive summarization, and machine translation. Extensive evaluation of frontier proprietary and open-weights models reveals that while frontier models like Gemini-3.7-Flash maintain robustness across resource tiers, smaller models face severe performance degradation on low-resource languages. Crucially, models perform better in reasoning and summarization when pivoted through English rather than target languages, exposing a critical dependency on English representations, especially for low-resource languages. Beyond these observations, we provide a cross-lingual error analysis and a cross-script tokenizer fertility analysis. We hope these findings shed light on the development of next-generation inclusive multilingual models.
• Abstract（参考訳）: 言語モデルは目覚ましい能力を示してきたが、その性能は相変わらずハイソース言語に偏っている。 この格差は東南アジアの7億人の住民にとって特に深刻であり、既存のベンチマークでは大きな言語多様性が不足している。 この問題を解決するために、DeepSEAは、確立されたデータセットから構築された12の東南アジアの言語へのプロの人間翻訳を通じて構築された包括的なベンチマークで、高リソース(インドネシア語、タイ語、ベトナム語)と低リソース(ビルマ語、クメール語、ラオス語)の両方にまたがって、数学的推論、科学的推論、質問応答、抽象的な要約、機械翻訳の5つの異なるタスクにまたがる。 Gemini-3.7-Flashのようなフロンティアのプロプライエタリモデルとオープンウェイトモデルの大規模な評価は、リソース層間の堅牢性を維持する一方で、より小さなモデルでは低リソース言語での大幅なパフォーマンス低下に直面していることを示している。 重要なことに、モデルは、ターゲット言語よりも英語をピボットすると推論と要約が良くなり、特に低リソース言語において、英語表現への重要な依存が明らかになる。 これらの観察の他に、言語間エラー解析とクロススクリプトトークン化器の施肥分析を提供する。 これらの発見が次世代の包括的多言語モデルの開発に光を当てることを願っている。

関連論文リスト

• FormosanBench: Benchmarking Low-Resource Austronesian Languages in the Era of Large Language Models [1.2403152094314245]
  我々は,低リソースオーストロネシア言語上での大規模言語モデル(LLM)を評価するための最初のベンチマークであるFORMOSANBENCHを紹介する。 FORMOSANBENCHを用いて,ゼロショット,10ショット,微調整設定におけるモデル性能を評価する。 この結果から,高リソース言語とFormosan言語の間には,大幅な性能差が認められた。
  論文  参考訳（メタデータ） (2025-06-12T07:02:28Z)
• Transcending Language Boundaries: Harnessing LLMs for Low-Resource Language Translation [38.81102126876936]
  本稿では,キーワードに着目して,低リソース言語における翻訳品質を向上させる新しい検索手法を提案する。 本手法の有効性を評価するため,北米の絶滅危惧種であるチェロキー語,アジアにおける歴史的・文化的に重要な言語であるチベット語,話者がほとんどいない満州語という3つの低資源言語に英語から翻訳した実験を行った。 GPT-4oとLLaMA 3.1 405Bのゼロショット性能と比較すると、低リソース言語への変換において、これらのモデルが直面する重要な課題が浮き彫りになっている。
  論文  参考訳（メタデータ） (2024-11-18T05:41:27Z)
• Cross-lingual transfer of multilingual models on low resource African Languages [0.20793001310272596]
  単一の言語で訓練されたモノリンガルモデルは、ターゲット言語のニュアンスをよりよく捉えることができる。 AfriBERTは微調整後に最高88.3%の言語間精度を達成した。 BiGRUは83.3%の精度で最高のパフォーマンスのニューラルモデルとして登場した。
  論文  参考訳（メタデータ） (2024-09-17T08:05:40Z)
• SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages [77.75535024869224]
  東南アジアの言語に合わせたSeaLLMsモデルファミリーの最新版SeaLLMs 3を紹介します。 SeaLLMs 3は、英語、中国語、インドネシア語、ベトナム語、タイ語、タガログ語、マレー語、ビルマ語、クメール語、ラオス語、タミル語、ジャワ語など、この地域で話される言語全般をカバーすることで、このギャップを埋めることを目指している。 我々のモデルは、世界的知識、数学的推論、翻訳、命令の追従といったタスクに優れており、同様の大きさのモデルで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-07-29T03:26:22Z)
• Compass: Large Multilingual Language Model for South-east Asia [0.0]
  CompassLLMは東南アジアの言語に特化した多言語モデルである。 我々のモデルはインドネシア語のような東南アジアの言語で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-14T11:48:33Z)
• SeaLLMs -- Large Language Models for Southeast Asia [76.50157503379086]
  東南アジア(SEA)言語に焦点を当てた,革新的な言語モデルであるSeaLLMを紹介した。 SeaLLMはLlama-2モデルに基づいて構築され、さらに拡張語彙、特殊命令、アライメントチューニングによる事前訓練が継続されている。 包括的評価により,SeaLLM-13bモデルは言語タスクやアシスタントスタイルの指示追従能力に優れた性能を示した。
  論文  参考訳（メタデータ） (2023-12-01T17:17:56Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• DN at SemEval-2023 Task 12: Low-Resource Language Text Classification via Multilingual Pretrained Language Model Fine-tuning [0.0]
  感情分析のための既存のモデルやデータセットは、英語や中国語などの高リソース言語向けに開発されている。 AfriSenti-SemEval 2023 Shared Task 12は、低リソースのアフリカの言語に対する感情分析モデルを評価することで、このギャップを埋めることを目的としている。 そこで我々は,多言語XLM-Rモデルを多言語モデルに適用し,様々なデータに基づいて分類ヘッドを訓練した。
  論文  参考訳（メタデータ） (2023-05-04T07:28:45Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。