論文の概要: Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models: A Capability and Evaluation-Maturity Framework

• arxiv url: http://arxiv.org/abs/2608.11891v1
• Date: Wed, 12 Aug 2026 10:19:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.554856
• Title: Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models: A Capability and Evaluation-Maturity Framework
• Title（参考訳）: ベンチマークに基づくインドの公的なベンチマークモデルの比較評価:能力と評価成熟度フレームワーク
• Abstract要約: 政府は、国家AI能力、デジタル主権、多言語コンピューティングを強化するために、土着の基盤モデルに資金を供給している。 本稿では,グローバルフロンティアモデルと同等スケールモデルに対して,公開ベンチマークによるインド基礎モデルのベンチマークに基づく比較評価を行う。 その結果,MMLU や MATH-500 などの既存のベンチマークでは,インドのモデルが強いスコアを得ることがわかった。 本稿では, 標準化, 参加, 独立検証, 全国的カバレッジについて, それぞれの能力領域を評価する, 探索的4次元ベンチマーク成熟度指数(BMI)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Governments increasingly fund indigenous foundation models to strengthen national AI capability, digital sovereignty, and multilingual computing. Assessing the progress of such national ecosystems is complicated by inconsistent benchmark reporting, proprietary evaluation methodologies, and rapidly evolving model releases. This paper presents a structured, benchmark-based comparative assessment of publicly benchmarked Indian foundation models against global frontier and comparable-scale models, across eight capability domains: general-purpose reasoning, coding and software engineering, agentic AI and computer use, cybersecurity, vision and image understanding, video and multimodal understanding, scientific research, and Indic language capability. Using only publicly reported benchmark results, we find that Indian models achieve strong scores on established benchmarks such as MMLU and MATH-500. However, these benchmarks are now widely regarded as saturated, and frontier developers no longer report them. Indian models participate far less frequently in newer, agentic, and domain-specialized evaluations. Benchmark participation is also highly uneven across Indian organizations. Among the models surveyed, Sarvam AI reports the broadest benchmark coverage by a substantial margin. We propose an exploratory four-dimension Benchmark Maturity Index (BMI), scoring each capability domain on standardization, participation, independent verification, and national coverage. We show that the BMI refines, and in some cases revises, the maturity judgments that a purely descriptive review would produce. We argue that many apparent capability gaps in the public record cannot be distinguished, on available evidence, from evaluation-ecosystem gaps. This has direct implications for how national AI programs should design monitoring and funding criteria.
• Abstract（参考訳）: 政府は、国家AI能力、デジタル主権、多言語コンピューティングを強化するために、土着の基盤モデルに資金を供給している。 このような国の生態系の進展を評価することは、一貫性のないベンチマークレポート、独自評価手法、急速に進化するモデルリリースによって複雑である。 本稿では, 汎用推論, コーディングとソフトウェア工学, エージェントAIとコンピュータ利用, サイバーセキュリティ, ビジョンとイメージ理解, ビデオとマルチモーダル理解, 科学研究, インデックス言語能力の8つの機能領域にわたる, グローバルフロンティアと同等スケールモデルに対する, インドの公的なベンチマークモデルの比較評価を行った。 その結果,MMLU や MATH-500 などの既存のベンチマークでは,インドのモデルが強いスコアを得ることがわかった。 しかし、これらのベンチマークは広く飽和していると見なされ、フロンティア開発者はそれを報告しない。 インドのモデルは、新しい、エージェント的、ドメイン特化評価において、はるかに少ない頻度で参加する。 ベンチマークへの参加は、インド組織全体でも極めて不均一である。 調査されたモデルの中で、Sarvam AIは最も広いベンチマークカバレッジをかなりのマージンで報告している。 本稿では, 標準化, 参加, 独立検証, 全国的カバレッジについて, それぞれの能力領域を評価する, 探索的4次元ベンチマーク成熟度指数(BMI)を提案する。 我々は、BMIが洗練され、場合によっては、純粋に記述的なレビューが生み出す成熟度判断が修正されることを示す。 公的記録における多くの明らかな能力ギャップは、利用可能な証拠に基づいて、評価と生態系のギャップから区別できないと我々は主張する。 これは、国家AIプログラムが監視と資金調達の基準をどう設計すべきか、という直接的な意味を持つ。

関連論文リスト

• Unsteady Metrics and Benchmarking Cultures of AI Model Builders [0.2238062620016784]
  Benchmarking-Cultures-25は、主要なAIビルダ11から、2025年に139のモデルリリースで強調された231ベンチマークのデータセットである。 我々は,筆者らが測定している指標に基づいて,測定信号の共有フレームワークに統一された分類学マッピング用語を開発した。
  論文  参考訳（メタデータ） (2026-05-13T22:39:10Z)
• Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability [15.624747496258173]
  本稿では,日本の学術的能力の評価から構築したデータセットについて述べる。 合成またはキュレートされたデータに基づく既存のベンチマークとは異なり、本データセットは実際の試験レイアウト、図表、日本語教育用テキストを保存する。 これらの機能は、統一された評価フレームワークの下で、人間とモデルのパフォーマンスを直接比較することができる。
  論文  参考訳（メタデータ） (2026-05-12T07:22:50Z)
• Nishpaksh: TEC Standard-Compliant Framework for Fairness Auditing and Certification of AI Models [4.881152405850494]
  我々は,人工知能システムの評価と評価のための通信工学センター(TEC)標準を運用する,土着の公正性評価ツールであるNishpakshを提案する。 Nishpakshは、調査ベースのリスク、コンテキストのしきい値の決定、定量的公正性評価を、統一されたWebベースのダッシュボードに統合する。
  論文  参考訳（メタデータ） (2026-01-23T17:35:05Z)
• INSEva: A Comprehensive Chinese Benchmark for Large Language Models in Insurance [48.22571187209047]
  INSEvaは、保険におけるAIシステムの知識と能力を評価するために設計された中国のベンチマークである。 INSEvaは、ビジネス領域、タスクフォーマット、難易度、認知知識次元をカバーする多次元評価分類を特徴としている。 本ベンチマークでは,オープンエンド応答における忠実度と完全度の両方を評価するための調整された評価手法を実装した。
  論文  参考訳（メタデータ） (2025-08-27T03:13:40Z)
• A Survey on Large Language Model Benchmarks [45.042853171973086]
  一般的な能力ベンチマークは、中核言語学、知識、推論などの側面をカバーする。 ドメイン固有のベンチマークは、自然科学、人文科学、社会科学、エンジニアリング技術といった分野に焦点を当てている。 ターゲット固有のベンチマークは、リスク、信頼性、エージェントなどに注意を払う。
  論文  参考訳（メタデータ） (2025-08-21T08:43:35Z)
• Deprecating Benchmarks: Criteria and Framework [2.6449913368815516]
  ベンチマークを完全にあるいは部分的に非推奨にする時期を決定するための基準と、ベンチマークを非推奨にするフレームワークを提案する。 我々の研究は、特にフロンティアモデルにおいて、厳格で高品質な評価に向けたベンチマークの状況を改善することを目的としている。
  論文  参考訳（メタデータ） (2025-07-08T22:29:06Z)
• SEOE: A Scalable and Reliable Semantic Evaluation Framework for Open Domain Event Detection [70.23196257213829]
  オープンドメインイベント検出のためのスケーラブルで信頼性の高いセマンティックレベルの評価フレームワークを提案する。 提案フレームワークはまず,現在7つの主要ドメインをカバーする564のイベントタイプを含む,スケーラブルな評価ベンチマークを構築した。 次に,大言語モデル(LLM)を自動評価エージェントとして活用し,意味的類似ラベルのきめ細かい定義を取り入れた意味的F1スコアを計算する。
  論文  参考訳（メタデータ） (2025-03-05T09:37:05Z)
• BetterBench: Assessing AI Benchmarks, Uncovering Issues, and Establishing Best Practices [28.70453947993952]
  我々は、AIベンチマークのライフサイクル全体で46のベストプラクティスを検討し、それに対して24のAIベンチマークを評価するアセスメントフレームワークを開発した。 私たちは、大きな品質差があり、よく使われるベンチマークが重大な問題に悩まされていることに気付きました。
  論文  参考訳（メタデータ） (2024-11-20T02:38:24Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。