論文の概要: ProcCtrlBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents

• arxiv url: http://arxiv.org/abs/2605.20251v3
• Date: Mon, 25 May 2026 10:08:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 22:28:52.05065
• Title: ProcCtrlBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents
• Title（参考訳）: ProcCtrlBench:LLM符号化剤のプロセスレベル欠陥評価と制御保存
• Abstract要約: ProcCtrlBenchは、LLM符号化エージェントの実行プロセス評価のベンチマークである。 4つのカテゴリで11の障害タイプをカバーする再利用可能なオントロジーに、繰り返し実行される障害を整理する。 最終結果のみではなく、標準化されたプロセスエビデンスを通じてエージェントの軌跡を評価する。
• 参考スコア（独自算出の注目度）: 4.908588441456849
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing benchmarks for LLM coding agents primarily evaluate final outcomes. While useful for measuring overall capability, these metrics provide limited visibility and often miss defects that arise during execution. We present ProcCtrlBench, a benchmark for execution-process evaluation in LLM coding agents. ProcCtrlBench organizes recurrent execution defects into a reusable ontology covering 11 defect types in 4 categories, and evaluates agent trajectories through standardized process evidence rather than final outcomes alone. To support comparison across heterogeneous agents, ProcCtrlBench standardizes raw logs into a unified trajectory representation and reports calibrated scorecards over process-level findings. In addition, ProcCtrlBench uses control preservation as a way to quantify execution-process quality, capturing whether execution remains interpretable, interruptible, correctable, reversible, and able to hand back authority when needed. We evaluate ProcCtrlBench on 200 cases sampled from three benchmarks: AndroidBench, TerminalBench, and SWE-bench-Verified. Results show that ProcCtrlBench can be instantiated with useful reliability, provides more stable semantics than direct thresholding, and reveals meaningful differences in execution quality that are often overlooked by conventional outcome-based evaluation.
• Abstract（参考訳）: LLM符号化エージェントの既存のベンチマークは、主に最終結果を評価する。 全体的な能力を測定するのに有用だが、これらのメトリクスは限られた可視性を提供し、実行中に発生する欠陥を見逃すことが多い。 LLM符号化エージェントにおける実行プロセス評価のベンチマークであるProcCtrlBenchを提案する。 ProcCtrlBenchは、繰り返し実行される欠陥を4つのカテゴリで11の欠陥タイプをカバーする再利用可能なオントロジーに整理し、最終結果のみではなく、標準化されたプロセスエビデンスを通じてエージェントトラジェクトリを評価する。 不均一なエージェントの比較をサポートするため、ProcCtrlBenchは生ログを統一された軌跡表現に標準化し、プロセスレベルの結果よりも校正スコアカードを報告している。 さらに、ProcCtrlBenchは、実行プロセスの品質を定量化する手段として制御保存を使用し、実行が解釈可能か、中断可能か、修正可能か、可逆か、必要なときに権限を渡すことができる。 我々は,AndroidBench, TerminalBench, SWE-bench-Verifiedの3つのベンチマークから採取した200例についてProcCtrlBenchを評価した。 結果から, ProcCtrlBenchは有効信頼性でインスタンス化でき, 直接しきい値よりも安定なセマンティクスを提供し, 従来の結果ベース評価では見落とされがちな実行品質の有意義な相違を明らかにした。

関連論文リスト

• REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming [0.0]
  大規模な言語モデル(LLM)は、リバースエンジニアリングタスクにますます適用されている。 しかし、彼らの能力に関する主張は、それを測定する能力よりも優れている。 本稿では,関数レベル基底真理をCソースから構築する証明追跡パイプラインであるReforgeを提案する。
  論文  参考訳（メタデータ） (2026-07-07T23:17:03Z)
• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• CDR-Bench: Evaluating Faithful Execution of Compositional, Order-Sensitive Data Refinement Recipes [52.734097662607375]
  CDR-Benchは、4つの現実世界のデータリファインメントドメインにまたがる3,462の高品質なタスクを特徴とする包括的なベンチマークである。 我々のベンチマークでは、原子性、秩序に依存しない、秩序に敏感な設定でモデルを評価する。 10以上の最先端のLLMの実験では、一貫した障害パターンが明らかになっている。
  論文  参考訳（メタデータ） (2026-06-30T10:08:45Z)
• OpenClawBench: Benchmarking Process-side Anomalies in Real-world Agent Execution Trajectories [24.616751291282046]
  実エージェント実行プロセスにおけるプロセス側異常の測定と監視のための大規模データセットであるOpenClawBenchを紹介する。 OpenClawBenchは6つのソースモデルによって生成されたBFCL駆動のOpenClawセッションから構築され、31,264の注釈付きトラジェクトリを含んでいる。 FullTaxは、アライメントされた軌跡を、バイナリラベル、エビデンス、オンセット/スパンのローカライゼーション、重度、回復性、および5クラスの異常分類といった構造化された異常管理に変換する。
  論文  参考訳（メタデータ） (2026-05-28T02:15:52Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• RESTestBench: A Benchmark for Evaluating the Effectiveness of LLM-Generated REST API Test Cases from NL Requirements [0.13681174239726607]
  RESTestBenchは、手動で検証されたNL要求と組み合わせた3つのRESTサービスからなるベンチマークである。 我々は,複数の最先端LCMに対して, (i)非リファインメントベース生成と (ii) 動作中のSUTとの相互作用によって誘導されるリファインメントベース生成の2つのアプローチを評価する。
  論文  参考訳（メタデータ） (2026-04-28T16:59:08Z)
• Runtime Execution Traces Guided Automated Program Repair with Multi-Agent Debate [8.424102114588559]
  自動プログラム修復(APR)は複雑なロジックエラーとサイレント障害に悩まされる。 現在のLLMベースのAPRメソッドは主に静的であり、ソースコードと基本的なテスト出力に依存している。 我々は、パッチ検証のための共有制約としてランタイム事実を活用するマルチエージェントフレームワークであるTraceRepairを提案する。
  論文  参考訳（メタデータ） (2026-04-03T02:23:25Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• AgentFixer: From Failure Detection to Fix Recommendations in LLM Agentic Systems [7.429835301272413]
  フレームワークには15の障害検出ツールと2つの根本原因分析モジュールが含まれている。 軽量なルールベースのチェックとLDM-as-a-judgeアセスメントを統合し、構造化インシデント検出、分類、修復をサポートする。 我々は、このフレームワークをIBM CUGAに適用し、AppWorldとWebArenaベンチマークのパフォーマンスを評価した。
  論文  参考訳（メタデータ） (2026-02-18T14:55:35Z)
• Can LLMs Compress (and Decompress)? Evaluating Code Understanding and Execution via Invertibility [36.41073880422337]
  RoundTripCodeEval(RTCE)は、4つの異なるコード実行推論タスクからなる包括的なベンチマークである。 ゼロショットプロンプト、実行トレースの教師付き微調整、自己回帰機構を用いて、最先端のコード-LLMを体系的に評価する。 RTCEは、既存のI/O予測、実行推論、ラウンドトリップの自然言語ベンチマークによって捉えられていない、これまで測定されていなかったいくつかの新しい洞察を表面化している。
  論文  参考訳（メタデータ） (2026-01-19T21:09:48Z)
• UCRBench: Benchmarking LLMs on Use Case Recovery [42.35653533011503]
  ユーザゴールとサブファンクションの両方のユースケースを手作業で検証することで構築されたコード整列型ユースケースベンチマークを導入する。 大規模言語モデル(LLM)の最初の体系的な研究を行い,階層的評価プロトコルを提案する。 その結果,LLMはシステム機能を部分的に再構築できるが,その性能はプロジェクトによって大きく異なることがわかった。
  論文  参考訳（メタデータ） (2025-12-15T14:12:57Z)
• PACIFIC: a framework for generating benchmarks to check Precise Automatically Checked Instruction Following In Code [1.1164117387254457]
  大言語モデル(LLM)ベースのコードアシスタントは、生成AIの強力な応用として登場した。 これらのシステムの主な要件は、ユーザの指示を正確に従う能力である。 PACIFICは,逐次命令追従機能とコードドライラン機能とを厳格に評価するベンチマークを自動的に生成する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-12-11T14:49:56Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases [58.411135609139855]
  タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。 我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。 実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
  論文  参考訳（メタデータ） (2025-10-23T06:58:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。