論文の概要: Unsteady Metrics and Benchmarking Cultures of AI Model Builders

• arxiv url: http://arxiv.org/abs/2605.14164v1
• Date: Wed, 13 May 2026 22:39:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.522887
• Title: Unsteady Metrics and Benchmarking Cultures of AI Model Builders
• Title（参考訳）: AIモデルビルダーの非定常メトリクスとベンチマーク文化
• Authors: Stefan Baack, Christo Buschek, Maty Bohacek,
• Abstract要約: Benchmarking-Cultures-25は、主要なAIビルダ11から、2025年に139のモデルリリースで強調された231ベンチマークのデータセットである。 我々は,筆者らが測定している指標に基づいて,測定信号の共有フレームワークに統一された分類学マッピング用語を開発した。
• 参考スコア（独自算出の注目度）: 0.2238062620016784
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The primary way to establish and compare competencies in foundation and generative AI models has shifted from peer-reviewed literature to press releases and company blog posts, where model builders highlight results on selected benchmarks. These artifacts now largely define the state of the art for researchers and the public. Despite their prominence, which benchmarks model builders choose to highlight, and what they communicate through this selection, is underexamined. To investigate, we introduce and open-source Benchmarking-Cultures-25, a dataset of 231 benchmarks highlighted across 139 model releases in 2025 from 11 major AI builders, alongside an interactive tool to explore the data. Our analysis reveals a fragmented evaluation landscape with limited cross-model comparability: 63.2% of highlighted benchmarks are used by a single builder, and 38.5% appear in just one release. Few achieve widespread use (e.g., GPQA Diamond, LiveCodeBench, AIME 2025). Moreover, benchmarks are attributed different competencies by different builders, depending on their narrative. To disentangle these conflicting presentations, we develop a unified taxonomy mapping diverging terminology to a shared framework of measured signals based on what benchmark authors claim to measure. "General knowledge application" is the second most popular, yet vaguely defined, category. Qualitative analysis shows many such benchmarks deemphasize construct validity, instead framing results as indicators of progress toward AGI. Their authors claim to measure knowledge or reasoning broadly, yet mostly evaluate STEM subjects (especially math). We argue that highlighted benchmarks function less as standardized measurement tools and more as flexible narrative devices prioritizing market positioning over scientific evaluation. Data: https://hf.co/datasets/matybohacek/benchmarking-cultures-25; tool: https://bench-cultures.net.
• Abstract（参考訳）: ファンデーションとジェネレーティブAIモデルの能力を確立し比較する主要な方法は、査読された文献からプレスリリースや会社のブログ記事へと移行し、モデルビルダーは選択したベンチマークで結果を強調している。 これらのアーティファクトは現在では、研究者と一般大衆の最先端をほぼ定義している。 モデルビルダーがハイライトを選択し、この選択を通じて何を通信するかをベンチマークする彼らの名声にもかかわらず、過小評価されている。 調査のために、主要なAIビルダー11社から、2025年に139のモデルリリースで強調された231ベンチマークのデータセットであるBenchmarking-Cultures-25と、データを探索するためのインタラクティブツールを紹介し、オープンソース化した。 63.2%のハイライトされたベンチマークが1つのビルダによって使用され、38.5%が1つのリリースに現れています。 広く使われるものはほとんどない(GPQA Diamond、LiveCodeBench、AIME 2025など)。 さらに、ベンチマークは、ストーリーによって異なるビルダーによって異なる能力が評価される。 これらの矛盾するプレゼンテーションを解消するために、我々は、ベンチマークの著者が測定しているものに基づいて、測定信号の共有フレームワークに分岐する分類学を統一的に作成する。 一般知識応用」は、最も人気があるがあいまいに定義されたカテゴリーである。 定性的分析は、多くのベンチマークが構成妥当性を強調せず、AGIに向けた進歩の指標として結果をフレーミングしていることを示している。 彼らの著者は、知識や推論を広く測定するが、主にSTEMの主題(特に数学)を評価する。 我々は、強調ベンチマークが標準化された測定ツールよりも、科学的な評価よりも市場の位置を優先する柔軟な物語装置として機能すると主張している。 データ: https://hf.co/datasets/matybohacek/benchmarking-cultures-25; ツール: https://bench-cultures.net

関連論文リスト

• When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation [80.66788281323414]
  主要モデル開発者のテクニカルレポートから選択した60のLarge Language Model (LLM)ベンチマークのベンチマーク飽和を分析した。 分析の結果、ベンチマークのほぼ半数が飽和しており、ベンチマークの年齢とともに上昇していることがわかった。 専門家によるベンチマークは、クラウドソースのベンチマークよりも飽和に抵抗する。
  論文  参考訳（メタデータ） (2026-02-18T16:51:37Z)
• Benchmarking AI Models in Software Engineering: A Review, Search Tool, and Unified Approach for Elevating Benchmark Quality [4.213480330807674]
  2014年以降、273のAI4SEベンチマークを識別する247の研究のレビューを行う。 それらを分類し、現在のプラクティスのギャップを露呈し、適切なベンチマークを見つけるためのセマンティック検索ツールであるBenchScoutを紹介します。 参加者22名のユーザスタディにおいて、BenchScoutは、ユーザビリティ、有効性、直感性を4.5、4.0、そして5.1で達成した。
  論文  参考訳（メタデータ） (2025-03-07T18:44:32Z)
• Improving LLM Leaderboards with Psychometrical Methodology [0.0]
  大規模言語モデル(LLM)の急速な開発は、その性能を評価するためにベンチマークの作成を必要としている。 これらのベンチマークは、人間のテストや調査に似ており、これらのシステムの認知行動における創発性を測定するために設計された質問で構成されている。 しかし、社会科学でよく定義された特徴や能力とは異なり、これらのベンチマークによって測定される特性は曖昧で厳密に定義されていないことが多い。
  論文  参考訳（メタデータ） (2025-01-27T21:21:46Z)
• More than Marketing? On the Information Value of AI Benchmarks for Practitioners [42.73526862595375]
  学術分野では、公開ベンチマークは一般的に研究の進展を捉えるのに適した指標と見なされた。 製品や政策において、ベンチマークは実質的な決定を下すのに不十分であることがしばしば見出された。 有効なベンチマークは、意味のある実世界の評価を提供し、ドメインの専門知識を取り入れ、スコープと目標の透明性を維持するべきであると結論付けています。
  論文  参考訳（メタデータ） (2024-12-07T03:35:39Z)
• BetterBench: Assessing AI Benchmarks, Uncovering Issues, and Establishing Best Practices [28.70453947993952]
  我々は、AIベンチマークのライフサイクル全体で46のベストプラクティスを検討し、それに対して24のAIベンチマークを評価するアセスメントフレームワークを開発した。 私たちは、大きな品質差があり、よく使われるベンチマークが重大な問題に悩まされていることに気付きました。
  論文  参考訳（メタデータ） (2024-11-20T02:38:24Z)
• ECBD: Evidence-Centered Benchmark Design for NLP [95.50252564938417]
  ベンチマーク設計プロセスを5つのモジュールに形式化するフレームワークであるEvidence-Centered Benchmark Design (ECBD)を提案する。 各モジュールは、ベンチマーク設計の選択を記述し、正当化し、サポートする必要がある。 分析の結果,ベンチマークの妥当性を脅かす可能性のあるベンチマーク設計とドキュメントの共通する傾向が明らかになった。
  論文  参考訳（メタデータ） (2024-06-13T00:59:55Z)
• MMBench: Is Your Multi-modal Model an All-around Player? [114.45702807380415]
  視覚言語モデルのマルチモーダル能力を評価するためのベンチマークであるMMBenchを提案する。 MMBenchは、よく設計された品質制御スキームで慎重にキュレートされている。 MMBenchは英語版と中国語版の両方で複数の質問を取り入れている。
  論文  参考訳（メタデータ） (2023-07-12T16:23:09Z)
• Do Question Answering Modeling Improvements Hold Across Benchmarks? [84.48867898593052]
  20種類の多種多様なモデリング手法を用いて32のQAベンチマークの一致を計測する。 何年にもわたってコミュニティは少数のベンチマークに力を入れてきたが、研究対象のモデリングの改善は広く続いている。
  論文  参考訳（メタデータ） (2021-02-01T18:55:38Z)
• Benchmarking Graph Neural Networks [75.42159546060509]
  グラフニューラルネットワーク(GNN)は、グラフ上のデータから分析および学習するための標準ツールキットとなっている。 成功している分野が主流で信頼性を持つようになるためには、進捗を定量化するためにベンチマークを開発する必要がある。 GitHubリポジトリは1,800のスターと339のフォークに到達し、提案されているオープンソースフレームワークの有用性を実証している。
  論文  参考訳（メタデータ） (2020-03-02T15:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。