論文の概要: The AI Evaluation Ecosystem

• arxiv url: http://arxiv.org/abs/2610.09296v1
• Date: Wed, 07 Oct 2026 01:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.676054
• Title: The AI Evaluation Ecosystem
• Title（参考訳）: AI評価生態系
• Abstract要約: ルールベースの市場ダイナミクスと戦略的アクターを組み合わせたシミュレーションアーキテクチャを開発する。 ケーススタディとして、このスタイリングされたシミュレーションを用いてベンチマークホールドアウト設計を探索する。 公開ベンチマークからプライベートホールトアウトベンチマークへの移行は、ほとんどのベンチマークにおけるベンチマークスコアとユーザの満足度の間のギャップを縮めるが、いくつかのベンチマークで拡大する。
• 参考スコア（独自算出の注目度）: 22.265016115460877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI evaluation shapes the decisions of model providers, users, funders, and regulators. We argue that designing valid benchmarks requires contextualizing design choices in the dynamics of this ecosystem of actors. We develop a simulation architecture that combines rule-based market dynamics with LLM-driven strategic actors, building on advances in Generative Agent-Based Modeling (GABM). We model benchmarks, consumer needs, and provider capabilities as vectors over a six-dimensional capability space (reasoning, coding, knowledge, safety, communication, agentic), with structural information partitions across actors. As a case study, we apply this stylized simulation to explore benchmark holdout design. We find that moving from public benchmarks to private holdout benchmarks shrinks the gap between benchmark scores and user satisfaction on most benchmarks but widens it on a few, depending on where holdout weights shift scoring credit. We stress-test our findings at both the instrument and case-study level, drawing on the V&V framework of Sargent (2013) and GABM-specific evidence criteria. Beyond holdout design, our simulation is a hypothesis-generating sandbox for studying how evaluator and policy choices, in turn, reshape the ecosystem.
• Abstract（参考訳）: AI評価は、モデル提供者、ユーザ、資金提供者、規制当局の決定を形作る。 有効なベンチマークを設計するには、アクターのこのエコシステムのダイナミックスにおいて、設計選択をコンテキスト化する必要がある、と我々は主張する。 我々は,ルールベースの市場ダイナミクスとLCM主導の戦略的アクターを組み合わせるシミュレーションアーキテクチャを開発し,GABM(Generative Agent-Based Modeling)の進歩に基づいて構築する。 我々は6次元の能力空間(推論、コーディング、知識、安全性、コミュニケーション、エージェント)上のベクタとして、ベンチマーク、消費者ニーズ、プロバイダ能力を、アクター間の構造情報パーティションでモデル化します。 ケーススタディとして、このスタイリングされたシミュレーションを用いてベンチマークホールドアウト設計を探索する。 公開ベンチマークからプライベートなホールトアウトベンチマークへの移行は、ほとんどのベンチマークにおけるベンチマークスコアとユーザの満足度の間のギャップを縮めるが、ホールトアウトウェイトが評価クレジットをシフトする場所によっては、いくつかの点で拡大する。 我々は,Sargent (2013) の V&V フレームワークと GABM 固有のエビデンス基準を参考に,器用レベルとケーススタディレベルの両方で実験を行った。 ホールドアウトデザイン以外にも、我々のシミュレーションは、評価者や政策選択がどのように生態系を再形成するかを研究するための仮説生成サンドボックスである。

関連論文リスト

• A Unified Framework for the Evaluation of LLM Agentic Capabilities [36.43241368835721]
  LLMエージェント能力の公平な評価のための統一的なフレームワークを提案する。 統合された構成システムによって駆動されるこのフレームワークは、様々なベンチマークを標準化された命令-ツール-環境フォーマットに統合する。 我々は15モデルで400Kロールアウトと5Bトークンに対して大規模な実証分析を行う。
  論文  参考訳（メタデータ） (2026-05-27T03:20:45Z)
• AI Benchmark Democratization and Carpentry [12.180796797521062]
  大規模な言語モデルはしばしば静的なベンチマークを行い、ベンチマーク結果と実世界のパフォーマンスのギャップを生じさせる。 現在のベンチマークでは、上位層のハードウェア上でのピークパフォーマンスを強調し、多様な実世界のシナリオに対する限られたガイダンスを提供することが多い。 民主化は、技術革新とレベルを越えた体系的な教育の両方を必要とし、ベンチマーク設計と使用において持続的な専門知識を構築する。
  論文  参考訳（メタデータ） (2025-12-12T14:20:05Z)
• How can we assess human-agent interactions? Case studies in software agent design [52.953425368394306]
  我々は,人間とエージェントの相互作用の厳密な評価に向けて,二つの大きな一歩を踏み出した。 エージェント設計のより効率的な人間中心評価のためのフレームワークであるPULSEを提案する。 私たちは、オープンソースのソフトウェアエージェントOpenHandsを中心に構築された大規模なWebプラットフォームにフレームワークをデプロイします。
  論文  参考訳（メタデータ） (2025-10-10T19:04:28Z)
• BenchAgents: Multi-Agent Systems for Structured Benchmark Creation [23.653678381444276]
  BenchAgentsは評価ベンチマークの作成を自動化するフレームワークである。 BenchAgentsを使って、計画、制約満足度、因果推論に関連する機能を評価するベンチマークを作成します。 次に、これらのベンチマークを使用して、最先端のモデルを研究し、共通の障害モードとモデルの違いに関する新たな洞察を抽出します。
  論文  参考訳（メタデータ） (2024-10-29T22:56:18Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• ECBD: Evidence-Centered Benchmark Design for NLP [95.50252564938417]
  ベンチマーク設計プロセスを5つのモジュールに形式化するフレームワークであるEvidence-Centered Benchmark Design (ECBD)を提案する。 各モジュールは、ベンチマーク設計の選択を記述し、正当化し、サポートする必要がある。 分析の結果,ベンチマークの妥当性を脅かす可能性のあるベンチマーク設計とドキュメントの共通する傾向が明らかになった。
  論文  参考訳（メタデータ） (2024-06-13T00:59:55Z)
• A User's Guide to Calibrating Robotics Simulators [54.85241102329546]
  本稿では,シミュレーションで学習したモデルやポリシーを現実世界に伝達することを目的とした,様々なアルゴリズムの研究のためのベンチマークとフレームワークを提案する。 我々は、様々なアルゴリズムの性能に関する洞察を特徴付け、提供するために、広く知られたシミュレーション環境の実験を行う。 我々の分析は、この分野の実践者にとって有用であり、sim-to-realアルゴリズムの動作と主特性について、より深い選択をすることができる。
  論文  参考訳（メタデータ） (2020-11-17T22:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。