論文の概要: AEC-Bench: A Multimodal Benchmark for Agentic Systems in Architecture, Engineering, and Construction
- arxiv url: http://arxiv.org/abs/2603.29199v1
- Date: Tue, 31 Mar 2026 03:10:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-01 15:25:03.07158
- Title: AEC-Bench: A Multimodal Benchmark for Agentic Systems in Architecture, Engineering, and Construction
- Title（参考訳）: AEC-Bench: アーキテクチャ、エンジニアリング、構築におけるエージェントシステムのためのマルチモーダルベンチマーク
- Abstract要約: AEC-Benchは現実世界のタスクにおいてエージェントシステムを評価するためのベンチマークである。
本報告では、ベンチマークモチベーション、データセット分類、評価プロトコル、ベースライン結果について述べる。
- 参考スコア（独自算出の注目度）: 1.1841228164483055
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The AEC-Bench is a multimodal benchmark for evaluating agentic systems on real-world tasks in the Architecture, Engineering, and Construction (AEC) domain. The benchmark covers tasks requiring drawing understanding, cross-sheet reasoning, and construction project-level coordination. This report describes the benchmark motivation, dataset taxonomy, evaluation protocol, and baseline results across several domain-specific foundation model harnesses. We use AEC-Bench to identify consistent tools and harness design techniques that uniformly improve performance across foundation models in their own base harnesses, such as Claude Code and Codex. We openly release our benchmark dataset, agent harness, and evaluation code for full replicability at https://github.com/nomic-ai/aec-bench under an Apache 2 license.
- Abstract（参考訳）: AEC-Benchは、アーキテクチャ、エンジニアリング、建設(AEC)ドメインにおける現実世界のタスクのエージェントシステムを評価するためのマルチモーダルベンチマークである。
このベンチマークは、図面理解、クロスシート推論、建設プロジェクトレベルの調整を必要とするタスクをカバーしている。
本報告では、いくつかのドメイン固有の基盤モデルハーネスのベンチマークモチベーション、データセット分類、評価プロトコル、ベースライン結果について述べる。
AEC-Benchを使って一貫したツールを特定し、Claude CodeやCodexといったベースハーネスの基盤モデル全体のパフォーマンスを均一に向上する設計テクニックを活用します。
Apache 2ライセンスの下で、ベンチマークデータセット、エージェントハーネス、および完全な複製性評価コードをhttps://github.com/nomic-ai/aec-benchで公開しています。
関連論文リスト
- BC-Bench: Evaluating Agentic Engineering in a Domain-Specific Language for ERP [20.47634814037652]
BC-Benchは、Microsoft Dynamics 365 Business Centralにおける実世界のタスクのエージェントエンジニアリングを評価するために設計されたベンチマークである。
BC-Benchは、Microsoftが所有する2つのプロダクションリポジトリから抽出された101の作業からなる。
我々は2つのエージェントハーネスにまたがる複数のフロンティアモデルを評価し、非決定性を考慮したマルチラン指標を用いた。
論文 参考訳（メタデータ） (2026-08-21T08:16:21Z) - OpenCompass: A Universal Evaluation Platform for Large Language Models [62.59671563145442]
汎用大規模言語モデル (LLM) は, 技術の進歩において重要なリンクとなっている。
メインストリームベンチマークデータセットは、タスクタイプの多様性、一貫性のない評価基準、データと処理の断片化といった課題に直面している。
本稿では,ワンストップ,スケーラブル,高精度な汎用評価プラットフォームであるOpen LLMをオープンソースとして提案する。
論文 参考訳（メタデータ） (2026-05-19T02:50:11Z) - CocoaBench: Evaluating Unified Digital Agents in the Wild [98.84044600506597]
ココアベンチ(CocoaBench)は、人間によって設計された長距離タスクから構築された統合デジタルエージェントのベンチマークである。
また、モデルバックボーン間の比較を制御できる軽量な共有足場であるCocoaAgentについても紹介する。
論文 参考訳（メタデータ） (2026-04-13T09:00:10Z) - Benchmarking Requirement-to-Architecture Generation with Hybrid Evaluation [8.867061253116367]
大規模言語モデル(LLM)は、ソフトウェアエンジニアリングタスクの自動化において大きな可能性を証明している。
要件文書からソフトウェアアーキテクチャ設計を生成することは、ソフトウェア開発における重要なステップである。
R2ABenchは、さまざまな現実世界のソフトウェアプロジェクトと、包括的製品要求文書(PRD)と専門家による参照図を組み合わせた、新しいベンチマークである。
論文 参考訳（メタデータ） (2026-04-08T04:58:36Z) - ArchBench: Benchmarking Generative-AI for Software Architecture Tasks [0.0]
ArchBenchは、ソフトウェアアーキテクチャタスクで大規模言語モデルをベンチマークするための最初の統一プラットフォームである。
データセットのダウンロード、トラジェクトリロギングによる推論、自動評価のための標準化されたパイプラインを備えたコマンドラインツールを提供する。
論文 参考訳（メタデータ） (2026-03-18T15:26:46Z) - ArchAgent: Scalable Legacy Software Architecture Recovery with LLMs [44.137226823695066]
ArchAgentはスケーラブルなエージェントベースのフレームワークで、静的解析、適応コードセグメンテーション、LLMによる合成を組み合わせている。
クロスリポジトリから、マルチビューでビジネスに整合したアーキテクチャを再構築する。
ArchAgentは、コンテキストプルーニングによるスケーラブルなダイアグラム生成を導入し、クロスリポジトリデータを統合して、ビジネスクリティカルなモジュールを識別する。
論文 参考訳（メタデータ） (2026-01-19T12:39:05Z) - ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。
オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。
我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
論文 参考訳（メタデータ） (2026-01-16T08:23:52Z) - KGCE: Knowledge-Augmented Dual-Graph Evaluator for Cross-Platform Educational Agent Benchmarking with Multimodal Language Models [2.4487691107306655]
KGCEは知識ベース拡張とデュアルグラフ評価フレームワークを統合する新しいベンチマークプラットフォームである。
最初に、104の教育関連タスクからなるデータセットを構築し、Windows、Android、クロスプラットフォームの協調タスクをカバーした。
そこで我々は,学校固有のソフトウェアに固有の知識ベースを組み込んだエージェントシステムを開発した。
論文 参考訳（メタデータ） (2026-01-04T04:39:39Z) - Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem [90.17610617854247]
本稿では,エージェントモデルの生産パイプラインを最適化する基盤インフラであるエージェント学習エコシステム(ALE)を紹介する。
ALEは、重量最適化のためのトレーニング後のフレームワークであるROLL、軌道生成のためのサンドボックス環境マネージャであるROCK、効率的なコンテキストエンジニアリングのためのエージェントフレームワークであるiFlow CLIの3つのコンポーネントで構成されている。
ROMEはALEが基盤として100万件以上のトラジェクトリをトレーニングしたオープンソースエージェントです。
論文 参考訳（メタデータ） (2025-12-31T14:03:39Z) - Bench-CoE: a Framework for Collaboration of Experts from Benchmark [6.278928823352044]
大規模言語モデル(LLM)は、知的システムを複数のタスクを処理するために駆動する重要な技術である。
本稿では,ベンチマーク評価を効果的に活用し,専門家コラボレーション(CoE)を可能にするBench-CoEフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-05T14:03:41Z) - BenchAgents: Multi-Agent Systems for Structured Benchmark Creation [23.653678381444276]
BenchAgentsは評価ベンチマークの作成を自動化するフレームワークである。
BenchAgentsを使って、計画、制約満足度、因果推論に関連する機能を評価するベンチマークを作成します。
次に、これらのベンチマークを使用して、最先端のモデルを研究し、共通の障害モードとモデルの違いに関する新たな洞察を抽出します。
論文 参考訳（メタデータ） (2024-10-29T22:56:18Z) - BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.936320820180875]
大規模言語モデル(LLM)は、様々な領域でますます重要になっている。
BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。
BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
論文 参考訳（メタデータ） (2024-10-01T15:11:24Z) - CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。
私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。
実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
論文 参考訳（メタデータ） (2024-07-01T17:55:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。