Fugu-MT 論文翻訳(概要): L3Cube-IndicQuest v2: A Large-Scale Multilingual Benchmark for Evaluating Factual Knowledge of Large Language Models Across Indic Languages

論文の概要: L3Cube-IndicQuest v2: A Large-Scale Multilingual Benchmark for Evaluating Factual Knowledge of Large Language Models Across Indic Languages

arxiv url: http://arxiv.org/abs/2608.15535v1
Date: Sun, 16 Aug 2026 05:07:28 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-18 19:59:03.330939
Title: L3Cube-IndicQuest v2: A Large-Scale Multilingual Benchmark for Evaluating Factual Knowledge of Large Language Models Across Indic Languages
Title（参考訳）: L3Cube-IndicQuest v2: インデックス言語全体にわたる大規模言語モデルのファクチュアル知識評価のための大規模多言語ベンチマーク
Abstract要約: L3-IndicQuest v2は、大規模言語モデル(LLM)のインド固有の事実知識を評価するための大規模ゴールドスタンダード多言語質問答えベンチマークである。このベンチマークは、9つのドメインにまたがる3,471のカリキュラムと、教育カリキュラム、競争試験資料、ドメイン固有の参考書からなる。このベンチマークは19のIndic言語に翻訳され、20言語にまたがる69,420の質問対のデータセットが公開されている。
参考スコア（独自算出の注目度）: 2.7725161329847547
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present L3Cube-IndicQuest v2, a large-scale gold-standard multilingual question-answering benchmark for evaluating the India-specific factual knowledge of Large Language Models (LLMs). The benchmark comprises 3,471 curriculum-grounded English question--answer pairs spanning nine domains, curated from educational curricula, competitive examination materials, and domain-specific reference books. We introduce a practical hybrid construction strategy that combines context-grounded LLM-based question generation and validation with semantic deduplication and human verification, enabling scalable creation of benchmark data while preserving annotation quality. The benchmark is translated into 19 Indic languages, yielding a publicly released multilingual dataset of 69,420 question--answer pairs across 20 languages. We evaluate six LLMs under three protocols: LLM-as-a-judge and two deterministic lexical criteria, exact-substring and word-overlap matching. All three produce almost the same model ranking, showing that the results do not depend on the choice of judge. The frontier commercial model leads by a wide margin, and among open-weight models Gemma4 31B outperforms the Indic-specialised Sarvam 30B in every evaluated Indic language.
Abstract（参考訳）: 本稿では,L3Cube-IndicQuest v2について述べる。L3Cube-IndicQuest v2は,インド固有の大規模言語モデル(LLM)の事実知識を評価するための,大規模ゴールドスタンダード多言語質問応答ベンチマークである。このベンチマークは、9つのドメインにまたがる3,471のカリキュラムと、教育カリキュラム、競争試験資料、ドメイン固有の参考書からなる。本研究では,文脈に基づくLLMに基づく質問生成と検証を意味的重複と人間による検証と組み合わせ,アノテーションの品質を維持しつつ,ベンチマークデータのスケーラブルな作成を可能にする,実用的なハイブリッド構築戦略を提案する。このベンチマークは19のIndic言語に翻訳され、20言語にまたがる69,420の質問対のデータセットが公開されている。 LLM-as-a-judgeと2つの決定論的語彙基準、正確なサブストリングと単語オーバーラップマッチングの3つのプロトコルでLLMを評価する。 3つともほぼ同じモデルランキングを生成しており、結果が判断の選択に依存していないことを示している。フロンティアの商業モデルは幅広いマージンを導いており、オープンウェイトモデルのGemma4 31Bは、評価されたすべてのIndic言語において、Indic仕様のSarvam 30Bより優れている。

関連論文リスト

The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
論文参考訳（メタデータ） (2026-04-22T06:19:46Z)
Evaluating Modern Large Language Models on Low-Resource and Morphologically Rich Languages:A Cross-Lingual Benchmark Across Cantonese, Japanese, and Turkish [12.286855282078305]
GPT-4o, GPT-4, Claude3.5Sonnet, LLaMA3.1, MistralLarge2, LLaMA-2Chat13B, Mistral7B Instructを評価した。我々のベンチマークは、オープンドメイン質問応答、文書要約、英語からXへの翻訳、文化的根拠のある対話の4つのタスクにまたがっている。
論文参考訳（メタデータ） (2025-11-05T22:09:53Z)
ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models [4.615257892219717]
生成モデルの語彙的理解と生成能力を評価するために, 様々な難易度を持つ8つのサブタスクからなるChiKhaPoを紹介した。 ChiKhaPoは既存のレキシコン、モノリンガルデータ、bitextをベースとして、2つのサブタスクで2700以上の言語をカバーする。
論文参考訳（メタデータ） (2025-10-19T16:55:20Z)
BnMMLU: Measuring Massive Multitask Language Understanding in Bengali [0.0]
本稿では,ベンガル語モデルにおける言語理解能力を評価するベンチマークであるBnMMLUを紹介する。データセットは科学、人文科学、数学、一般知識を含む23の領域にまたがる。我々は、BnMMLUテストセット上で、プロプライエタリでオープンソースの大規模言語モデル(LLM)をベンチマークする。
論文参考訳（メタデータ） (2025-05-25T02:54:31Z)
Evaluating Large Language Model with Knowledge Oriented Language Specific Simple Question Answering [73.73820209993515]
KoLasSimpleQAは,Large Language Models (LLMs) の多言語事実能力を評価する最初のベンチマークである。既存の研究に触発されて、単一知識点カバレッジ、絶対的客観性、独特な答え、時間的安定性といった特徴を備えた質問セットを作成しました。その結果,2つの領域間に大きな性能差が認められた。
論文参考訳（メタデータ） (2025-05-22T12:27:02Z)
PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts [85.78821098963607]
PolyMathは18の言語と4つの難易度をカバーする多言語数学的推論ベンチマークである。我々のベンチマークは、包括性、言語多様性、高品質な翻訳の難しさを保証する。
論文参考訳（メタデータ） (2025-04-25T15:39:04Z)
MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation [86.7047714187813]
MMLU-ProXは29の言語をカバーするベンチマークであり、英語のベンチマーク上に構築されている。それぞれの言語バージョンは11,829の同一の質問で構成されており、直接言語間比較を可能にする。効率的な評価ニーズを満たすため,言語毎の質問数は658件である。
論文参考訳（メタデータ） (2025-03-13T15:59:20Z)
L3Cube-IndicQuest: A Benchmark Question Answering Dataset for Evaluating Knowledge of LLMs in Indic Context [0.4194295877935868]
L3Cube-IndicQuestは,ゴールド標準の質問応答ベンチマークデータセットである。データセットには200の質問応答ペアが含まれており、それぞれ英語と19のIndic言語に対応しており、Indicリージョン固有の5つのドメインを含んでいる。
論文参考訳（メタデータ） (2024-09-13T10:48:35Z)
OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models [59.54423478596468]
OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
論文参考訳（メタデータ） (2024-02-21T04:42:41Z)
M3Exam: A Multilingual, Multimodal, Multilevel Benchmark for Examining Large Language Models [76.88692952308084]
M3Examは、多言語、マルチモーダル、マルチレベルコンテキストにおける大規模言語モデル(LLM)を評価するためのベンチマークである。 M3Examには、9つの言語で12,317の質問があり、3つの教育レベルがある。我々は,M3Exam上でのLLMの性能評価を行い,GPT-4を含む現在のモデルが多言語テキストに苦戦していることを確認した。
論文参考訳（メタデータ） (2023-06-08T13:21:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。