論文の概要: Benchy: towards a universal language for task-oriented AI benchmarks

• arxiv url: http://arxiv.org/abs/2609.30550v1
• Date: Thu, 24 Sep 2026 20:57:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.139375
• Title: Benchy: towards a universal language for task-oriented AI benchmarks
• Title（参考訳）: Benchy: タスク指向AIベンチマークのための汎用言語を目指して
• Abstract要約: BenchyはAIプログラムをベンチマークするためのセマンティック言語と実行エンジンである。 ベンチマークはプログラム、スコアリング機能、データセットによって完全に指定される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchy is a semantic language and execution engine for benchmarking AI programs. A benchmark is completely specified by a program, a scoring function, and a dataset, B=(P,S,D), and is separate from the AI-system taking it; a run binds the two, R=(B,AI). Benchmarks are authored as canonical YAML in which each semantic concept has one valid syntax, classified by a shared task/domain/language ontology, and deterministically compiled into a canonical JSON intermediate representation that the engine executes. Compilation changes representation, not meaning: it does not repair invalid definitions or inject hidden defaults. Programs use fixed schemas of named input and output fields, the leaf output fields are the scoring dimensions, and the engine exposes one universal runtime contract --- a named-field input object in, a named-field output object out --- to which external AI-systems adapt at the boundary, so integration mechanics never propagate into benchmark semantics. This paper gives the semantic object model, the ontology and task-to-program validation rule, the scoring and failure semantics, the compilation and execution architecture, and the scope of the current language. An appendix fixes the normative engineering contract for the first engine implementation.
• Abstract（参考訳）: BenchyはAIプログラムをベンチマークするためのセマンティック言語と実行エンジンである。 ベンチマークは、プログラム、スコアリング機能、データセットB=(P,S,D)によって完全に指定され、それを取るAIシステムとは分離され、ランは2つのR=(B,AI)をバインドする。 ベンチマークは、各セマンティック概念がひとつの有効な構文を持ち、共有タスク/ドメイン/言語オントロジーによって分類され、エンジンが実行する標準JSON中間表現に決定的にコンパイルされる、標準的なYAMLとして記述されている。 不正な定義を修復したり、隠されたデフォルトを注入したりしない。 プログラムは名前付き入力フィールドと出力フィールドの固定スキーマを使用し、リーフ出力フィールドはスコアリングディメンションであり、エンジンは1つのユニバーサルランタイムコントラクト -- 名前付きフィールド入力オブジェクト、名前付きフィールド出力オブジェクト -- を公開する。 本稿では、セマンティックオブジェクトモデル、オントロジーとタスク・ツー・プログラムの検証ルール、スコアと失敗のセマンティクス、コンパイルと実行のアーキテクチャ、そして現在の言語の範囲について述べる。 付録は、最初のエンジンの実装の規範的なエンジニアリング契約を修正します。

関連論文リスト

• ISA-Bench: A Benchmark for Computational Reasoning Across Instruction Set Architectures [27.764308035620388]
  本稿では,制約付き命令セットを持つプログラミングゲームのベンチマークであるISA-Benchを紹介する。 推論モデルは、コード特化モデルや汎用モデルよりも平均解率が高いが、不慣れな構文は依然として失敗の主な原因である。
  論文  参考訳（メタデータ） (2026-09-19T08:29:35Z)
• SEMBridge: Tagless-Final Program Semantics with Weakest-Precondition and Bounded-Checking Interpretations [0.8557392136621891]
  SEMBridgeは、同じ実行可能なオブジェクトプログラムから最も弱い条件と境界チェックの解釈を生成する。 Pythonプロトタイプは、割り当て、条件、仮定、アサーションを備えたループフリーな命令コアを実装している。
  論文  参考訳（メタデータ） (2026-05-29T18:00:06Z)
• Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
  単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。 複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
  論文  参考訳（メタデータ） (2026-05-28T06:23:31Z)
• Generalized Tree Edit Distance (GTED): A Faithful Evaluation Metric for Statement Autoformalization [11.26658223467498]
  GTEDは形式文を標準化し、それらを演算木に変換する評価フレームワークである。 名前付き GTED 計量を用いて意味的類似性を決定する。 GTEDは一貫して最高性能の指標であり、MiniF2FではKappa、ProofNetでは最大精度でKappaを達成している。
  論文  参考訳（メタデータ） (2025-07-10T03:34:58Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Bootstrapping Referring Multi-Object Tracking [27.77514740607812]
  マルチオブジェクト追跡(RMOT)と呼ばれる新しい一般的な参照理解タスクを導入する。 その中核となる考え方は、言語表現を意味的キューとして利用して、多目的追跡の予測を導くことである。 高品質なアノテーションを効率よく生成するために,9,758個の言語プロンプトを定式化する半自動ラベリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-07T16:02:10Z)
• Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
  FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。 FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。 その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
  論文  参考訳（メタデータ） (2023-07-13T17:14:38Z)
• BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
  BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。 実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。 われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
  論文  参考訳（メタデータ） (2022-07-21T20:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。