論文の概要: On the missing benchmarks layer and a potential solution

• arxiv url: http://arxiv.org/abs/2608.02996v1
• Date: Tue, 04 Aug 2026 01:26:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.986656
• Title: On the missing benchmarks layer and a potential solution
• Title（参考訳）: 欠落したベンチマーク層と潜在的な解について
• Abstract要約: 本稿では,LatamBoardを最初の地域インスタンスとするEvalsHubを提案する。 オープンでタスクファーストのベンチマークインフラストラクチャで、大学、公共機関、専門的なコミュニティ、企業がモデル間で公開、実行、比較、メンテナンスできる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latin America is missing a foundational layer for native AI development: the benchmark layer. The benchmark layer does two things no other layer can - it audits AI systems against regional social requirements and it directs AI optimization in economically relevant environments. Without it, public institutions cannot independently evaluate foreign AI systems, and companies cannot optimize AI systems to solve local problems with SOTA performance. The cost of the missing layer is dual: a loss of auditability and a loss of optimization direction over a technology that is increasingly critical infrastructure. We propose an EvalsHub, with LatamBoard as its first regional instance - an open, task-first benchmark infrastructure where universities, public institutions, professional communities, and companies can publish, execute, compare, and maintain evaluations across models, workflows, and agents. Built once, measured forever - re-run by institutions as new AI systems ship and by industry teams after every system change. Open by design and incentive-driven by construction.
• Abstract（参考訳）: ラテンアメリカには、ネイティブAI開発のための基盤層、すなわちベンチマーク層が欠けている。 ベンチマーク層は、他のレイヤができない2つのことを行います - 地域社会の要求に対してAIシステムを監査し、経済的に関係のある環境でAI最適化を指示します。 それなしでは、公共機関は独立して外国のAIシステムを評価することができず、企業はSOTAのパフォーマンスに関するローカルな問題を解決するためにAIシステムを最適化することはできない。 監査可能性の喪失と、ますます重要なインフラストラクチャである技術に対する最適化の方向性の喪失です。 私たちはEvalsHubを提案し、LatamBoardを最初の地域インスタンスとして、大学、公共機関、専門的なコミュニティ、企業がモデル、ワークフロー、エージェント間で評価を公開、実行、比較、維持できるオープンでタスクファーストのベンチマークインフラストラクチャを提供します。 新しいAIシステムが出荷され、システムの変更毎に業界チームによって再実行されます。 設計によりオープンし、建設によってインセンティブ駆動される。

関連論文リスト

• The Three-Ring Architecture: Governing Agents in the Era of On-Platform Organisations [0.0]
  本稿では,3つのリングアーキテクチャを,オンプレミス組織の管理基盤として定式化する。 このアーキテクチャは、金融サービス、政府、調達、コンプライアンスなどの分野における10年間にわたって検証されてきた。
  論文  参考訳（メタデータ） (2026-06-05T10:20:03Z)
• Agents' Last Exam [275.79071391137074]
  Agents' Last Exam (ALE)は、AIエージェントを長期的、経済的に価値のある、現実のタスクで検証可能な結果で評価するために設計されたベンチマークである。 ALEは250以上の業界の専門家と共同で開発され、O*NET / SOC 2018を参照して定義された非物理産業をカバーしている。 現在の結果は、最も硬い層が飽和していないことを示している:主流のハーネスとバックボーンの構成で、平均フルパスレートは1%以下である。
  論文  参考訳（メタデータ） (2026-06-03T20:20:46Z)
• AI Assurance: A Comprehensive Testing Strategy for Enterprise AI Systems [0.0]
  本稿では,3つの原則に基づいて構築されたエンタープライズAIシステムに対する包括的保証戦略を提案する。 まず、AIテストは厳格な正当性検証ではなく、継続的なリスク低減に焦点を当てるべきである。 第3に、AI保証の失敗は、従来の決定論的ソフトウェアシステムに見られるものと根本的に異なる組織的影響をもたらす可能性がある。
  論文  参考訳（メタデータ） (2026-05-22T10:19:19Z)
• Beyond Model Readiness: Institutional Readiness for AI Deployment in Public Systems [0.0]
  多くのパブリックセクタ人工知能システムは、モデル開発の時点では失敗し、デプロイの時点で失敗する。 既存の責任あるAIとモデル評価フレームワークは価値があるが、主にモデル、データセット、開発者側のプロセスを評価する。 Institutional Alignment Readiness (IAR)は,公共システムにおける配置準備性を評価するための5次元フレームワークである。
  論文  参考訳（メタデータ） (2026-05-17T00:11:09Z)
• When Agents Evolve, Institutions Follow [52.359340707289114]
  大規模言語モデル上に構築されたマルチエージェントシステムは、同じ課題に直面している。 彼らの中心的な問題は、個人の知性だけでなく、集団的な組織である。 我々は,4つの標準的ガバナンスパターンにまたがる7つの歴史的政治機関を,実行可能なマルチエージェントアーキテクチャに翻訳する。
  論文  参考訳（メタデータ） (2026-04-30T10:30:58Z)
• The Buy-or-Build Decision, Revisited: How Agentic AI Changes the Economics of Enterprise Software [0.0]
  生成的人工知能の進歩は、企業アプリケーションのためのメイク・アンド・バイの判断の経済性を阻害している。 本稿では,メイク・オー・バイ決定の根底にある要因を再評価するために,概念研究アプローチを採用する。
  論文  参考訳（メタデータ） (2026-04-29T09:47:47Z)
• AutoSOTA: An End-to-End Automated Research System for State-of-the-Art AI Model Discovery [49.77172027295716]
  AutoSOTAは、トップレベルのAI論文で発表された最新のState-Of-The-Art(SOTA)モデルを進化させるエンドツーエンドの自動研究システムである。 報告された方法を超える新しい105種類のSOTAモデルを発見し、平均して1紙あたり平均5時間である。
  論文  参考訳（メタデータ） (2026-04-07T07:52:01Z)
• Toward Self-Driving Universities: Can Universities Drive Themselves with Agentic AI? [4.0927251014877255]
  エージェントAIと大規模言語モデル(LLM)の急速な進化は、高等教育機関に変革の機会をもたらす。 この章では、AIを活用したシステムが、管理、学術、品質保証プロセスを段階的に自動化するビジョンである、自動運転大学の概念を紹介します。
  論文  参考訳（メタデータ） (2026-02-06T07:39:52Z)
• AI-NativeBench: An Open-Source White-Box Agentic Benchmark Suite for AI-Native Systems [52.65695508605237]
  我々は、Model Context Protocol(MCP)とAgent-to-Agent(A2A)標準に基づいて、アプリケーション中心でホワイトボックスのAI-NativeベンチマークスイートであるAI-NativeBenchを紹介する。 エージェントスパンを分散トレース内の第一級市民として扱うことにより,本手法は,単純な機能以上の工学的特性の粒度解析を可能にする。 この研究は、モデル能力の測定から信頼性の高いAI-Nativeシステムへの移行を導く最初の体系的な証拠を提供する。
  論文  参考訳（メタデータ） (2026-01-14T11:32:07Z)
• Barbarians at the Gate: How AI is Upending Systems Research [58.95406995634148]
  システム研究は、新しいパフォーマンス指向アルゴリズムの設計と評価に長年注力してきたが、AI駆動のソリューション発見には特に適している、と私たちは主張する。 このアプローチをAI駆動システム研究(ADRS)と呼び、ソリューションを反復的に生成し、評価し、洗練する。 我々の研究結果は、AI時代のシステム研究の実践に急激な適応の必要性と破壊的な可能性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-10-07T17:49:24Z)
• Developing an AI-enabled IIoT platform -- Lessons learned from early use case validation [47.37985501848305]
  本稿では,このプラットフォームの設計について紹介し,AIによる視覚的品質検査の実証者の観点からの早期評価について述べる。 これは、この初期の評価活動で学んだ洞察と教訓によって補完される。
  論文  参考訳（メタデータ） (2022-07-10T18:51:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。