論文の概要: Spec2Vision: Contract-Guided Delivery of AI-Generated Computer Vision Pipelines
- arxiv url: http://arxiv.org/abs/2608.26400v1
- Date: Wed, 26 Aug 2026 20:57:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.175019
- Title: Spec2Vision: Contract-Guided Delivery of AI-Generated Computer Vision Pipelines
- Title（参考訳）: Spec2Vision: AI生成したコンピュータビジョンパイプラインの契約ガイド配信
- Abstract要約: Spec2Visionは仕様付きCVパイプラインバンドルの開発と評価のための実験的なフレームワークである。
ベンチマークでは、17のCVタスク、10の実行可能な条件、5のタスク条件セルを850のプライマリランで評価している。
にもかかわらず、軽量のベースラインは85/85ランでコアラン可能のままであるが、17/85の評価パスと6/85の厳格な納入成功にしか達していない。
- 参考スコア（独自算出の注目度）: 0.2715382584771446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generated computer-vision code can be runnable without satisfying the task contract enforced by a downstream evaluator. We study that gap with Spec2Vision, an experimental framework for producing and evaluating specification-grounded CV pipeline bundles through a staged runtime that keeps the task contract explicit across synthesis, screening, testing, and bounded repair. The benchmark evaluates 17 CV tasks, 10 executable conditions, and 5 repeats per task-condition cell, for 850 primary runs. In the primary 850-run evaluation, Spec2Vision reaches 81/85 evaluator-test passes; removing structural repair drops to 55/85, compatibility scaffolding to 58/85, and generator preflight to 39/85. The executable single-agent baselines expose progressively richer task specifications to the model, culminating in direct source-spec exposure, yet remain much weaker overall, from 17/85 for lightweight task grounding to 35/85 evaluator-test passes. The lightweight baseline nevertheless remains core-runnable in 85/85 runs but reaches only 17/85 evaluator-test passes and 6/85 strict-delivery successes, showing that runnability is not equivalent to delivery. Across this benchmark, the strongest evidence comes from keeping the task contract explicit across staged generation, checking, and repair. Artifacts are provided to support audit of run bundles, model-visible inputs, and derived tables.
- Abstract（参考訳）: 生成されたコンピュータビジョンコードは、下流評価器によって実行されるタスク契約を満たすことなく実行可能である。
我々はSpec2Visionとのギャップについて検討する。Spec2Visionは,仕様に基づいて構築されたCVパイプラインバンドルを,合成,スクリーニング,テスト,バウンダリ修復を通じてタスクコントラクトを明確に維持する,段階的ランタイムを通じて評価する実験的なフレームワークである。
ベンチマークでは、17のCVタスク、10の実行可能な条件、5のタスク条件セルを850のプライマリランで評価している。
初回850回の評価では、Spec2Visionは81/85回の評価試験に到達し、55/85に、互換性の足場を58/85に、ジェネレータを39/85に除去した。
実行可能シングルエージェントのベースラインは、徐々にリッチなタスク仕様をモデルに公開し、直接のソース-仕様の露出で終わるが、軽量なタスクグラウンドの17/85から35/85評価パスまで、全体としてはずっと弱いままである。
にもかかわらず、軽量のベースラインは85/85ランでコアランナブルのままだが、17/85評価パスと6/85厳格なデリバリ成功にしか達せず、ランナビリティはデリバリと同等ではないことを示している。
このベンチマーク全体で、最も強い証拠は、ステージ化された世代間でタスク契約を明確にし、チェックし、修復することにある。
実行バンドル、モデルビジュアブルインプット、派生テーブルの監査をサポートする成果物が提供される。
関連論文リスト
- Harbor Adapters and Harbor-Index: Infrastructure and a Curated Meta-Dataset for Large-Scale Agentic Evaluation [141.29138788636013]
任意のエージェントを評価するために80以上のベンチマークを移植するベンチマークアダプタを開発した。
54のベンチマークで,機能レベルにまたがる8モデルの大規模評価を行う。
私たちは29のベンチマークにまたがる82の難易度、多様性、高品質なタスクをキュレートしたHarbor-Indexを紹介します。
論文 参考訳（メタデータ） (2026-09-03T16:26:20Z) - CogEvol: Towards Efficient and Reliable Learning Environment Generation [49.18054685846454]
本稿では,学習環境生成に特化して訓練されたモデル群であるCogEvolを紹介する。
CogEvolは、スライドを中央値17秒、対話ページを59秒で完了し、数分のマルチターンエージェントの足場を置き換える。
プロダクショングラウンドのデータパイプラインは、実際の障害を53,687個のSFTサンプルに変換する。
論文 参考訳（メタデータ） (2026-08-31T15:33:38Z) - Security Tests as Executable Specifications for LLM Code Generation: Benefits, Trade-offs, and Coverage Limits [14.44743150931186]
テストが事前に表示されるか、失敗した実行がリビジョンを引き起こすか、失敗が選択され、どのように表現されるかの3つの要素を分離する、制御されたテストフィードバックの足場を開発する。
2,705の軌道、31のタスクインスタンス、3つのセキュアコードベンチマーク、16のCWEカテゴリ、2つのモデルファミリがあり、すべての目に見えるテストが前もって隠れた機能とセキュリティのジョイントの成功を平均19.3%増加させている。
共有候補比較では、構造化されたフィードバック修復は、当初、共同回帰のない80の候補が失敗し、固定された生フィードバック修復83は3つの回帰を引き起こす。
論文 参考訳（メタデータ） (2026-08-10T15:37:09Z) - Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks [38.52523278435824]
Argusは永続的で自己進化的なランタイムで、マネージャ、プランナー、エンジニア、レビューアが耐久性のあるプロジェクトステート上で有界なミッションを実行します。
Argusは、安定したユーザ意図を運用目標、制約、検証基準から切り離し、メモリ、スキル、プロシージャ、バリデーション、ルーティング決定を許可し、ロール所有のレビューと利用可能なタスクネイティブ検証の後にのみ拒否されたルートを承認する。
論文 参考訳（メタデータ） (2026-08-05T17:58:58Z) - Learning Compositional Meta-Routing for Agentic Workflows: An Executable Benchmark [0.0]
本稿では,タスクテキストからヘテロジニアスな操作を構成する,実行可能ベンチマークと予算対応メタルータを紹介する。
結果: 学習成功率は75.9%、静的ルーティングは93.5%、残る49%が安価で34.3ポイントを超える。
論文 参考訳（メタデータ） (2026-07-31T07:00:49Z) - CFAgentBench: A Reproducible Environment and Benchmark for Autonomous Construction-Finance Agents [0.0]
CFAgentBenchは、自律的な建設ファイナンスエージェントのベンチマークである。
8つのドメインと77のファミリーにまたがる1014のマシングレード可能なタスク仕様を含んでいる。
最強のエージェントはpass1 = 0.67に達するが、pass5 = 0.38のみである。
論文 参考訳（メタデータ） (2026-06-20T11:34:52Z) - Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。
この問題は、事前評価が結果駆動である変換において特に深刻である。
ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。
このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
論文 参考訳（メタデータ） (2026-05-27T19:57:15Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。