論文の概要: BnMMLU: Measuring Massive Multitask Language Understanding in Bengali

• arxiv url: http://arxiv.org/abs/2505.18951v1
• Date: Sun, 25 May 2025 02:54:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.775018
• Title: BnMMLU: Measuring Massive Multitask Language Understanding in Bengali
• Title（参考訳）: BnMMLU:ベンガル語における大規模マルチタスク言語理解の測定
• Authors: Saman Sarker Joy,
• Abstract要約: 本稿では,ベンガル語モデルにおける言語理解能力を評価するベンチマークであるBnMMLUを紹介する。 データセットは科学、人文科学、数学、一般知識を含む23の領域にまたがる。 我々は、BnMMLUテストセット上で、プロプライエタリでオープンソースの大規模言語モデル(LLM)をベンチマークする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Massive Multitask Language Understanding (MMLU) benchmark has been widely used to evaluate language models across various domains. However, existing MMLU datasets primarily focus on high-resource languages such as English, which leaves low-resource languages like Bengali underrepresented. In this paper, we introduce BnMMLU, a benchmark to evaluate the multitask language understanding capabilities of Bengali in language models. The dataset spans 23 domains, including science, humanities, mathematics and general knowledge and is structured in a multiple-choice format to assess factual knowledge, application-based problem-solving and reasoning abilities of language models. It consists of 138,949 question-option pairs. We benchmark several proprietary and open-source large language models (LLMs) on the BnMMLU test set. Additionally, we annotate the test set with three cognitive categories-factual knowledge, procedural application and reasoning-to gain deeper insights into model strengths and weaknesses across various cognitive tasks. The results reveal significant performance gaps, highlighting the need for improved pre-training and fine-tuning strategies tailored to Bengali data. We release the dataset and benchmark results to facilitate further research in this area.
• Abstract（参考訳）: Massive Multitask Language Understanding (MMLU)ベンチマークは、様々な領域にわたる言語モデルを評価するために広く使われている。 しかし、既存のMMLUデータセットは主に、ベンガル語のような低リソース言語が不足している英語のような高リソース言語に焦点を当てている。 本稿では,ベンガル語モデルにおけるマルチタスク言語理解能力を評価するベンチマークであるBnMMLUを紹介する。 データセットは科学、人文科学、数学、一般知識を含む23の領域にまたがっており、言語モデルの事実的知識、アプリケーションベースの問題解決、推論能力を評価するために複数の選択形式で構成されている。 138,949組の質問対で構成されている。 我々は、BnMMLUテストセット上で、プロプライエタリでオープンソースの大規模言語モデル(LLM)をベンチマークする。 さらに,3つの認知カテゴリーの知識,手続き的応用,推論の3つをアノテートして,様々な認知タスクにおけるモデルの強みと弱さについて深い洞察を得る。 その結果、ベンガルのデータに合わせた事前トレーニングと微調整戦略の改善の必要性が浮き彫りになった。 この分野のさらなる研究を容易にするため、データセットとベンチマーク結果をリリースする。

関連論文リスト

• Evaluating Large Language Model with Knowledge Oriented Language Specific Simple Question Answering [73.73820209993515]
  KoLasSimpleQAは,Large Language Models (LLMs) の多言語事実能力を評価する最初のベンチマークである。 既存の研究に触発されて、単一知識点カバレッジ、絶対的客観性、独特な答え、時間的安定性といった特徴を備えた質問セットを作成しました。 その結果,2つの領域間に大きな性能差が認められた。
  論文  参考訳（メタデータ） (2025-05-22T12:27:02Z)
• IndicMMLU-Pro: Benchmarking Indic Large Language Models on Multi-Task Language Understanding [2.062076715606512]
  インド亜大陸の15億人以上の人々によって知られており、Indic言語は自然言語処理(NLP)の研究に固有の課題と機会を提示している。 IndicMMLU-Proは、Indic言語全体にわたる大規模言語モデル(LLM)を評価するために設計されたベンチマークである。
  論文  参考訳（メタデータ） (2025-01-27T03:19:03Z)
• MILU: A Multi-task Indic Language Understanding Benchmark [7.652738829153342]
  我々は,インデクス言語における大規模言語モデルを評価するための総合評価ベンチマークMILUを紹介する。 インド中心のデザインにより、MILUは地域や州レベルの試験の資料を取り入れ、地域の歴史、芸術、祭典、法律などのトピックを科学や数学のような標準的な主題と共にカバーしている。 オープンな多言語モデルは言語固有の微調整モデルよりも優れており、ランダムなベースラインよりもわずかに優れている。
  論文  参考訳（メタデータ） (2024-11-04T19:17:17Z)
• MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models [65.10456412127405]
  MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。 MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。 MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-04-07T15:23:28Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• IndicSUPERB: A Speech Processing Universal Performance Benchmark for Indian languages [16.121708272597154]
  インド12言語における音声認識のためのIndicSUPERBベンチマークをリリースする。 一般的に使用されているベースラインベンチマークとともに、さまざまな自己教師付きモデルをトレーニングし、評価する。 言語固有の微調整モデルはほとんどのタスクのベースラインよりも正確であることを示す。
  論文  参考訳（メタデータ） (2022-08-24T20:14:52Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。