論文の概要: BC-Bench: Evaluating Agentic Engineering in a Domain-Specific Language for ERP
- arxiv url: http://arxiv.org/abs/2608.20851v1
- Date: Fri, 21 Aug 2026 08:16:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.472813
- Title: BC-Bench: Evaluating Agentic Engineering in a Domain-Specific Language for ERP
- Title（参考訳）: BC-Bench: ERPのためのドメイン特化言語におけるエージェントエンジニアリングの評価
- Abstract要約: BC-Benchは、Microsoft Dynamics 365 Business Centralにおける実世界のタスクのエージェントエンジニアリングを評価するために設計されたベンチマークである。
BC-Benchは、Microsoftが所有する2つのプロダクションリポジトリから抽出された101の作業からなる。
我々は2つのエージェントハーネスにまたがる複数のフロンティアモデルを評価し、非決定性を考慮したマルチラン指標を用いた。
- 参考スコア（独自算出の注目度）: 20.47634814037652
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic engineering systems have shown strong performance on general-purpose benchmarks, yet their effectiveness in enterprise resource planning (ERP) domain-specific languages (DSLs) remains underexplored. We introduce BC-Bench, a benchmark designed to evaluate agentic engineering on real-world tasks in AL, the DSL for Microsoft Dynamics 365 Business Central. BC-Bench comprises 101 manually curated tasks extracted from two Microsoft-owned production repositories, reflecting authentic ERP development workflows. Adapting the SWE-Bench methodology, we address the unique constraints of the AL ecosystem---including limited public resources and complex environment provisioning. Beyond generating functional code, BC-Bench evaluates test generation and supports multimodal problem statements where visual context is commonly present. We evaluate multiple frontier models across two agent harnesses, utilizing multi-run metrics to account for nondeterminism. In the Bug Fixing category, under our evaluated settings, between-model differences in resolution rate are larger than differences between the two evaluated agent harnesses, and improvements reported on general-purpose benchmarks do not consistently transfer to AL. These results highlight the need for domain-specific evaluation.
- Abstract（参考訳）: エージェントエンジニアリングシステムは、汎用ベンチマークにおいて強力なパフォーマンスを示してきたが、エンタープライズリソース計画(ERP)ドメイン固有言語(DSL)におけるそれらの効果は、まだ未定である。
BC-Benchは、Microsoft Dynamics 365 Business CentralのDSLであるALにおける実世界のタスクのエージェントエンジニアリングを評価するために設計されたベンチマークである。
BC-Benchは、Microsoftが所有する2つのプロダクションリポジトリから抽出した101の手作業によるタスクで構成されており、本物のERP開発ワークフローを反映している。
SWE-Bench の手法に適応して,AL エコシステムのユニークな制約 - 限られた公共資源と複雑な環境提供を含む- に対処する。
BC-Benchは、関数型コードの生成以外にも、テスト生成を評価し、視覚的コンテキストが一般的であるマルチモーダル問題ステートメントをサポートする。
我々は2つのエージェントハーネスにまたがる複数のフロンティアモデルを評価し、非決定性を考慮したマルチラン指標を用いた。
Bug Fixingのカテゴリでは、評価条件下では、2つの評価されたエージェントハーネス間の差よりも分解率のモデル間差が大きく、汎用ベンチマークで報告された改善はALに一貫して移行しない。
これらの結果は、ドメイン固有の評価の必要性を強調している。
関連論文リスト
- T1-Bench: Benchmarking Multi-Scenario Agents in Real-World Domains [17.617235861426686]
T1-Benchは、現実的な顧客対応マルチドメイン環境でエージェントシステムを評価するための、高忠実で包括的なベンチマークである。
12のプロプライエタリモデルとオープンウェイトモデルを用いてT1-Benchを評価し,エージェントの動作,ツール利用,会話品質を評価するための標準フレームワークを提供する。
エージェントシステムの今後の研究を容易にするため,我々はデータと評価コードをオープンソースとして公開する。
論文 参考訳（メタデータ） (2026-06-09T16:32:14Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - SAGE: A Service Agent Graph-guided Evaluation Benchmark [27.342044311161654]
本稿では,SAGE(Service Agent Graph-Guided Evaluation)を提案する。
SAGEは構造化されていないSOPを動的ダイアロググラフに形式化し、論理的コンプライアンスの正確な検証を可能にする。
また、モデルが論理的失敗にもかかわらず丁寧な会話ファサードを維持する現象である「共感回復」も観察する。
論文 参考訳（メタデータ） (2026-04-10T12:55:23Z) - ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。
オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。
我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
論文 参考訳（メタデータ） (2026-01-16T08:23:52Z) - SWE-Compass: Towards Unified Evaluation of Agentic Coding Abilities for Large Language Models [59.90381306452982]
ソフトウェアエンジニアリングのための大規模言語モデル(LLM)の評価は、タスクカバレッジの狭さ、言語バイアス、現実世界の開発者との整合性の不足によって制限されている。
SWE-1は、不均一なコード関連評価を構造化および生産整合性のあるフレームワークに統合する包括的なベンチマークである。
SWE-は8つのタスクタイプ、8つのプログラミングシナリオ、10のプログラミング言語にまたがる。
論文 参考訳（メタデータ） (2025-11-07T18:01:32Z) - SOP-Bench: Complex Industrial SOPs for Evaluating LLM Agents [16.08820954102608]
大規模言語モデル(LLM)は、目覚ましい汎用推論と問題解決能力を示している。
LLMは、標準動作手順の厳格な遵守を要求する複雑な長期水平実行に苦慮している。
SOP-Benchは10の産業ドメインにわたる1,800以上のタスクのベンチマークである。
論文 参考訳（メタデータ） (2025-06-09T18:20:12Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z) - R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models [51.468732121824125]
大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。
既存の評価ツールは、ドメイン知識の深さを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。
本稿では、R-Evalツールキット(R-Evalツールキット)を導入し、異なるRAGの評価を合理化することによるALLMの評価の課題に対処する。
論文 参考訳（メタデータ） (2024-06-17T15:59:49Z) - Domain-Expanded ASTE: Rethinking Generalization in Aspect Sentiment Triplet Extraction [67.54420015049732]
Aspect Sentiment Triplet extract (ASTE) は感情分析における課題であり、人間の感情に対するきめ細かい洞察を提供することを目的としている。
既存のベンチマークは2つのドメインに限定されており、目に見えないドメイン上でのモデルパフォーマンスを評価しない。
各種ドメインのサンプルに注釈を付けることでドメイン拡張ベンチマークを導入し,ドメイン内設定とドメイン外設定の両方でモデルの評価を可能にする。
論文 参考訳（メタデータ） (2023-05-23T18:01:49Z) - A Unified and Efficient Coordinating Framework for Autonomous DBMS
Tuning [34.85351481228439]
既存のMLベースのエージェントを効率的に活用するための統合コーディネートフレームワークを提案する。
機械学習ベースのエージェントを効果的に利用し、ワークロードの実行時間に1.414.1Xのスピードアップでより良い設定を実現できることを示す。
論文 参考訳（メタデータ） (2023-03-10T05:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。