論文の概要: Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models: A Capability and Evaluation-Maturity Framework

• arxiv url: http://arxiv.org/abs/2608.11891v2
• Date: Sun, 16 Aug 2026 08:59:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 13:30:43.582534
• Title: Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models: A Capability and Evaluation-Maturity Framework
• Title（参考訳）: ベンチマークに基づくインドの公的なベンチマークモデルの比較評価:能力と評価成熟度フレームワーク
• Authors: Avinash Agarwal, Vridhi Jain,
• Abstract要約: 政府は、国家AI能力、デジタル主権、多言語コンピューティングを強化するために、土着の基盤モデルに資金を供給している。 本稿では,インドの基盤モデルエコシステムを評価し,公的なベンチマークの証拠における明らかな能力ギャップが,評価の成熟度におけるギャップを反映しているかどうかを考察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Purpose: Governments increasingly fund indigenous foundation models to strengthen national AI capability, digital sovereignty, and multilingual computing. This paper assesses India's foundation-model ecosystem and examines whether apparent capability gaps in public benchmark evidence may also reflect gaps in evaluation maturity. Approach: The paper presents a structured, benchmark-based comparative assessment of Indian foundation models against global frontier and comparable-scale models across eight capability domains: general-purpose reasoning, coding and software engineering, agentic AI and computer use, cybersecurity, vision and image understanding, video and multimodal understanding, scientific research, and Indic language capability. Using only publicly reported results, it proposes an exploratory four-dimension Benchmark Maturity Index (BMI), scoring each domain on standardization, participation, independent verification, and national Findings: Indian models achieve strong scores on established benchmarks such as MMLU and MATH-500. However, these are now widely regarded as saturated, and frontier developers no longer report them. Indian models participate far less frequently in newer, agentic, and domain-specialized evaluations, and participation is highly uneven across organizations. Sarvam AI reports the broadest coverage by a substantial margin. The BMI refines, and in some cases revises, the maturity judgments a purely descriptive review would produce. Practical implications: Many apparent capability gaps cannot be distinguished, on available evidence, from evaluation-ecosystem gaps, with direct implications for how national AI programs should design monitoring and funding criteria. Originality: The paper proposes BMI as a reusable instrument for scoring evaluation-ecosystem maturity at the domain level and demonstrates its application to the Indian foundation-model ecosystem.
• Abstract（参考訳）: 目的: 政府は、国家AI能力、デジタル主権、多言語コンピューティングを強化するために、土着の基盤モデルに資金を供給している。 本稿では,インドの基盤モデルエコシステムを評価し,公的なベンチマークの証拠における明らかな能力ギャップが,評価の成熟度におけるギャップを反映しているかどうかを考察する。 アプローチ: 本論文では, 汎用推論, コーディングとソフトウェア工学, エージェントAIとコンピュータ利用, サイバーセキュリティ, 視覚とイメージの理解, ビデオとマルチモーダル理解, 科学研究, インデックス言語能力の8つの領域にわたる, グローバルフロンティアと同等規模のインド基礎モデルを, 構造化されたベンチマークベースで比較評価する。 BMI(Exploratory four-dimension Benchmark Maturity Index)では、標準化、参加、独立検証、国家発見について各ドメインをスコア付けする。 しかし、現在ではこれらは飽和していると見なされ、フロンティア開発者はそれを報告しない。 インドモデルは、新しい、エージェント的、ドメイン特化評価において、はるかに頻度が低く、組織間での参加は極めて不均一である。 Sarvam AIは、最も広い範囲をかなりのマージンで報告している。 BMIは洗練され、場合によっては、純粋に記述的なレビューが生み出す成熟度判定が修正される。 実践的意味: 国家AIプログラムが監視と資金調達の基準をどのように設計すべきかという直接的な意味を持つ評価と生態系のギャップから、利用可能な証拠に基づいて、多くの明らかな能力ギャップを区別することはできない。 原点:本論文では,BMIをドメインレベルで評価・生態系の成熟度を評価する再利用可能な手段として提案し,インドの基盤モデルエコシステムへの適用を実証する。

関連論文リスト

• Unsteady Metrics and Benchmarking Cultures of AI Model Builders [0.2238062620016784]
  Benchmarking-Cultures-25は、主要なAIビルダ11から、2025年に139のモデルリリースで強調された231ベンチマークのデータセットである。 我々は,筆者らが測定している指標に基づいて,測定信号の共有フレームワークに統一された分類学マッピング用語を開発した。
  論文  参考訳（メタデータ） (2026-05-13T22:39:10Z)
• Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability [15.624747496258173]
  本稿では,日本の学術的能力の評価から構築したデータセットについて述べる。 合成またはキュレートされたデータに基づく既存のベンチマークとは異なり、本データセットは実際の試験レイアウト、図表、日本語教育用テキストを保存する。 これらの機能は、統一された評価フレームワークの下で、人間とモデルのパフォーマンスを直接比較することができる。
  論文  参考訳（メタデータ） (2026-05-12T07:22:50Z)
• INSEva: A Comprehensive Chinese Benchmark for Large Language Models in Insurance [48.22571187209047]
  INSEvaは、保険におけるAIシステムの知識と能力を評価するために設計された中国のベンチマークである。 INSEvaは、ビジネス領域、タスクフォーマット、難易度、認知知識次元をカバーする多次元評価分類を特徴としている。 本ベンチマークでは,オープンエンド応答における忠実度と完全度の両方を評価するための調整された評価手法を実装した。
  論文  参考訳（メタデータ） (2025-08-27T03:13:40Z)
• A Survey on Large Language Model Benchmarks [45.042853171973086]
  一般的な能力ベンチマークは、中核言語学、知識、推論などの側面をカバーする。 ドメイン固有のベンチマークは、自然科学、人文科学、社会科学、エンジニアリング技術といった分野に焦点を当てている。 ターゲット固有のベンチマークは、リスク、信頼性、エージェントなどに注意を払う。
  論文  参考訳（メタデータ） (2025-08-21T08:43:35Z)
• Deprecating Benchmarks: Criteria and Framework [2.6449913368815516]
  ベンチマークを完全にあるいは部分的に非推奨にする時期を決定するための基準と、ベンチマークを非推奨にするフレームワークを提案する。 我々の研究は、特にフロンティアモデルにおいて、厳格で高品質な評価に向けたベンチマークの状況を改善することを目的としている。
  論文  参考訳（メタデータ） (2025-07-08T22:29:06Z)
• BetterBench: Assessing AI Benchmarks, Uncovering Issues, and Establishing Best Practices [28.70453947993952]
  我々は、AIベンチマークのライフサイクル全体で46のベストプラクティスを検討し、それに対して24のAIベンチマークを評価するアセスメントフレームワークを開発した。 私たちは、大きな品質差があり、よく使われるベンチマークが重大な問題に悩まされていることに気付きました。
  論文  参考訳（メタデータ） (2024-11-20T02:38:24Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。