論文の概要: MILU: A Multi-task Indic Language Understanding Benchmark

• arxiv url: http://arxiv.org/abs/2411.02538v1
• Date: Mon, 04 Nov 2024 19:17:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:00:19.121506
• Title: MILU: A Multi-task Indic Language Understanding Benchmark
• Title（参考訳）: MILU: ベンチマークを理解するマルチタスクのインデックス言語
• Authors: Sshubam Verma, Mohammed Safi Ur Rahman Khan, Vishwajeet Kumar, Rudra Murthy, Jaydeep Sen,
• Abstract要約: 既存のベンチマークは主に英語に焦点を当てており、Indic言語における大規模言語モデルの評価においてかなりのギャップを残している。 このギャップに対処するために設計された総合評価ベンチマークMILUを紹介する。 インド中心のデザインにより、MILUは地域や州レベルの試験の資料を取り入れ、地域の歴史、芸術、祭典、法律などのトピックを科学や数学のような標準的な主題と共にカバーしている。
• 参考スコア（独自算出の注目度）: 7.652738829153342
• License:
• Abstract: Evaluating Large Language Models (LLMs) in low-resource and linguistically diverse languages remains a significant challenge in NLP, particularly for languages using non-Latin scripts like those spoken in India. Existing benchmarks predominantly focus on English, leaving substantial gaps in assessing LLM capabilities in these languages. We introduce MILU, a Multi task Indic Language Understanding Benchmark, a comprehensive evaluation benchmark designed to address this gap. MILU spans 8 domains and 42 subjects across 11 Indic languages, reflecting both general and culturally specific knowledge. With an India-centric design, incorporates material from regional and state-level examinations, covering topics such as local history, arts, festivals, and laws, alongside standard subjects like science and mathematics. We evaluate over 42 LLMs, and find that current LLMs struggle with MILU, with GPT-4o achieving the highest average accuracy at 72 percent. Open multilingual models outperform language-specific fine-tuned models, which perform only slightly better than random baselines. Models also perform better in high resource languages as compared to low resource ones. Domain-wise analysis indicates that models perform poorly in culturally relevant areas like Arts and Humanities, Law and Governance compared to general fields like STEM. To the best of our knowledge, MILU is the first of its kind benchmark focused on Indic languages, serving as a crucial step towards comprehensive cultural evaluation. All code, benchmarks, and artifacts will be made publicly available to foster open research.
• Abstract（参考訳）: 低リソースおよび多言語言語におけるLLM(Large Language Model)の評価は、特にインドで話されているようなラテン文字以外の言語では、NLPにおいて重要な課題である。 既存のベンチマークは主に英語に重点を置いており、これらの言語でLLMの能力を評価するのにかなりのギャップを残している。 このギャップに対処するために設計された総合評価ベンチマークであるMILU(Multi Task Indic Language Understanding Benchmark)を紹介する。 MILUは、11のIndic言語にまたがる8つのドメインと42の主題にまたがっており、一般的な知識と文化的な知識の両方を反映している。 インド中心のデザインでは、地域や州レベルの試験の材料を取り入れ、地域の歴史、芸術、祭典、法律などのトピックを科学や数学のような標準的な主題と共にカバーしている。 その結果,現在のLCMはMILUに苦戦しており,GPT-4oは平均精度が72%に達していることがわかった。 オープンな多言語モデルは言語固有の微調整モデルよりも優れており、ランダムなベースラインよりもわずかに優れている。 モデルは低リソース言語に比べて高リソース言語でもパフォーマンスが良い。 ドメインワイズ分析(Domain-wise analysis)は、STEMのような一般的な分野と比較して、芸術、人文、法、ガバナンスといった文化的に関係のある領域では、モデルが不十分であることを示している。 私たちの知る限りでは、MILUはIndic言語に焦点を当てた最初のベンチマークであり、総合的な文化的評価への重要なステップとなっている。 すべてのコード、ベンチマーク、アーティファクトは、オープンな研究を促進するために公開されます。

関連論文リスト

• IndicMMLU-Pro: Benchmarking Indic Large Language Models on Multi-Task Language Understanding [2.062076715606512]
  インド亜大陸の15億人以上の人々によって知られており、Indic言語は自然言語処理(NLP)の研究に固有の課題と機会を提示している。 IndicMMLU-Proは、Indic言語全体にわたる大規模言語モデル(LLM)を評価するために設計されたベンチマークである。
  論文  参考訳（メタデータ） (2025-01-27T03:19:03Z)
• INCLUDE: Evaluating Multilingual Language Understanding with Regional Knowledge [36.234295907476515]
  機能的大規模言語モデル(LLM)の開発は、英語以外の言語における高品質な評価資源の欠如によってボトルネックとなっている。 本研究では,各地域における多言語LLMの能力を評価するため,現地試験資料から197,243対のQAペアの評価スイートを構築した。
  論文  参考訳（メタデータ） (2024-11-29T16:03:14Z)
• All Languages Matter: Evaluating LMMs on Culturally Diverse 100 Languages [73.93600813999306]
  ALM-benchは、100言語にわたるLMMを評価するための、これまでで最大かつ最も包括的な取り組みである。 様々な言語でテキストと組み合わせた文化的に多様なイメージを理解し、推論する能力をテストすることで、既存のモデルに挑戦する。 このベンチマークは、真/偽、複数選択、オープンな質問など、さまざまな質問フォーマットを備えた、堅牢でニュアンスの高い評価フレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-25T15:44:42Z)
• MM-Eval: A Multilingual Meta-Evaluation Benchmark for LLM-as-a-Judge and Reward Models [3.961168847961322]
  大型言語モデル(LLM)は、人間の好みや判断のプロキシとして機能するタスクの評価器として一般的に用いられる。 既存のベンチマークは主に英語に重点を置いており、非英語の文脈における評価者としてのLLMの有効性についての限られた洞察を提供している。 MM-Evalは6つのカテゴリにまたがる18言語をカバーする多言語メタ評価ベンチマークである。
  論文  参考訳（メタデータ） (2024-10-23T06:04:55Z)
• One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本研究は,大言語モデル(LLM)の標準推論タスクにおける方言処理における妥当性と頑健さを客観的に評価することを目的とした最初の研究である。 我々は、コンピュータサイエンスのバックグラウンドの専門家を含むAAVEスピーカーを雇い、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えます。 以上の結果から,これら広く使用されているモデルのほとんどは,AAVEにおけるクエリに対する不安定さと不公平さを顕著に示していることがわかった。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Do Large Language Models Speak All Languages Equally? A Comparative Study in Low-Resource Settings [12.507989493130175]
  大規模言語モデル (LLM) は自然言語処理 (NLP) に大きな関心を寄せている。 近年の研究では、低リソース言語におけるLLMの限界が強調されている。 英語からバングラ語、ヒンディー語、ウルドゥー語に翻訳することで、感情と憎悪の音声タスクのデータセットを提示する。
  論文  参考訳（メタデータ） (2024-08-05T05:09:23Z)
• Language Ranker: A Metric for Quantifying LLM Performance Across High and Low-Resource Languages [48.40607157158246]
  大規模言語モデル(LLM)は、英語、ドイツ語、フランス語のような高リソース言語で、低リソース言語の能力は依然として不十分である。 内部表現を用いたLLM性能に基づいて,言語をベンチマークし,ランク付けするための固有測度であるLanguage Rankerを提案する。 分析の結果,高リソース言語は英語との類似度が高く,性能が優れ,低リソース言語は類似度が低いことがわかった。
  論文  参考訳（メタデータ） (2024-04-17T16:53:16Z)
• MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models [65.10456412127405]
  MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。 MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。 MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-04-07T15:23:28Z)
• OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models [59.54423478596468]
  OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。 各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。 具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T04:42:41Z)
• CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
  本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。 CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
  論文  参考訳（メタデータ） (2023-06-15T15:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。