論文の概要: What Process Evaluation of Coding Agents Actually Measures: Action, Task, and Step Are Three Different Levels
- arxiv url: http://arxiv.org/abs/2608.22960v1
- Date: Mon, 24 Aug 2026 08:27:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.97186
- Title: What Process Evaluation of Coding Agents Actually Measures: Action, Task, and Step Are Three Different Levels
- Title（参考訳）: コーディングエージェントのプロセス評価 : アクション,タスク,ステップは3つの異なるレベルである
- Abstract要約: 符号化エージェントにおけるプロセス評価のための測定フレームワークを提案する。
本フレームワークは,プレフィックス条件付き識別,リプレイ/インターベンションに基づく推定,および判断情報操作の制御を組み合わせたものである。
- 参考スコア（独自算出の注目度）: 5.46203679640347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents are increasingly evaluated not only by whether they solve a task, but also by how they execute it. However, existing process-level evaluations often treat action prediction, task uncertainty, and step attribution as if they were the same problem, which makes it unclear what such evaluations actually measure. In this paper, we introduce a measurement framework for process evaluation in coding agents and instantiate step-level causal attribution with SCAE, a replay-based estimator derived from a structural causal model of agent execution. Our framework combines prefix-conditioned identification, replay/intervention-based estimation, and controlled judge-information manipulation to study process evaluation at the action, task, and step levels. Experiments on 499 file-localization episodes from 12 repositories show that next actions are driven primarily by execution provenance rather than code-graph transitions, execution uncertainty is structured at the task rather than step level, and full-trace judges exhibit systematic collider bias, suggesting that current process evaluation often measures semantic relevance rather than certified causal contribution.
- Abstract（参考訳）: コーディングエージェントは、タスクの解決だけでなく、その実行方法によってもますます評価される。
しかし、既存のプロセスレベルの評価は、アクション予測、タスクの不確実性、ステップ属性を同じ問題であるかのように扱うことが多く、そのような評価が実際に何を測るのかははっきりしない。
本稿では,エージェント実行の構造因果モデルから導かれるリプレイベース推定器であるSCAEを用いて,符号化エージェントにおけるプロセス評価のための測定フレームワークを導入し,ステップレベルの因果属性を瞬時に生成する。
本フレームワークは, プレフィックス条件付き識別, リプレイ/インターベンションに基づく推定, および制御された判断情報操作を組み合わせて, 動作, タスク, ステップレベルでのプロセス評価について検討する。
12のリポジトリから499のファイルローカライゼーションエピソードの実験では、次のアクションは、主にコードグラフの遷移ではなく実行の成果によって駆動され、実行の不確実性は、ステップレベルではなくタスクで構成され、フルトレースの判断者は、体系的なコライダーバイアスを示し、現在のプロセス評価は、証明された因果貢献よりも意味的関連性を測定することが多いことを示唆している。
関連論文リスト
- Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - ProcCtrlBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents [4.908588441456849]
ProcCtrlBenchは、LLM符号化エージェントの実行プロセス評価のベンチマークである。
4つのカテゴリで11の障害タイプをカバーする再利用可能なオントロジーに、繰り返し実行される障害を整理する。
最終結果のみではなく、標準化されたプロセスエビデンスを通じてエージェントの軌跡を評価する。
論文 参考訳（メタデータ） (2026-05-18T08:34:48Z) - Interactive Evaluation Requires a Design Science [90.62695599188204]
大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。
フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。
本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
論文 参考訳（メタデータ） (2026-05-18T04:03:18Z) - A Benchmark for Evaluating Repository-Level Code Agents with Intermediate Reasoning on Feature Addition Task [11.218318079376365]
RACE-benchは、機能追加タスクでコードエージェントを評価するための推論強化ベンチマークである。
RACE-benchには、12のオープンソースリポジトリから528の現実世界の機能追加インスタンスが含まれている。
RACE-bench上での3つのリポジトリレベルのコードエージェントの評価を行った。
論文 参考訳（メタデータ） (2026-03-27T11:58:47Z) - Beyond Task Completion: Revealing Corrupt Success in LLM Agents through Procedure-Aware Evaluation [2.102846336724103]
プロシージャ・アウェア・アセスメント(PAE)は、エージェント・プロシージャを構造化された観察として形式化するフレームワークである。
タウベンチにおける言語モデル(LLM)に基づくエージェントの評価を行った。
論文 参考訳（メタデータ） (2026-03-03T15:47:41Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - Auto-Eval Judge: Towards a General Agentic Framework for Task Completion Evaluation [4.08768677009363]
本稿では,タスク領域に依存しないエージェントタスク完了を評価するための,汎用的でモジュール化されたフレームワークを提案する。
GAIAとBigCodeBenchの2つのベンチマークでMagentic-One Actor Agentを評価することで、我々のフレームワークを検証する。
我々の審査員は、人間の評価と密接に一致したタスクの成功を予測し、それぞれ4.76%と10.52%のアライメント精度を達成した。
論文 参考訳（メタデータ） (2025-08-07T15:39:48Z) - A Procedural Framework for Assessing the Desirability of Process Deviations [0.0]
本稿では,プロセスアナリストによる逸脱の回避性を体系的に評価する手続き的枠組みを提案する。
偏差を互いに排他的な望ましさのカテゴリに分類する方法について、どの入力要因を考慮すべきかを特定するためのステップバイステップのアプローチを提供する。
論文 参考訳（メタデータ） (2025-06-13T07:24:57Z) - Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。
3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
論文 参考訳（メタデータ） (2024-06-17T03:29:13Z) - IndustReal: A Dataset for Procedure Step Recognition Handling Execution
Errors in Egocentric Videos in an Industrial-Like Setting [7.561148568365396]
手順ステップ認識(PSR)の新たな課題について紹介する。
PSRは、手続き段階の正しい完了と順序を認識することに焦点を当てている。
マルチモーダルなIndustRealデータセットも提示する。
論文 参考訳（メタデータ） (2023-10-26T11:44:29Z) - ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。
まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。
最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
論文 参考訳（メタデータ） (2022-07-14T17:46:37Z) - SVIP: Sequence VerIfication for Procedures in Videos [68.07865790764237]
ステップレベルの変換を伴う負のアクションシーケンスと同一のアクションシーケンスを実行するポジティブなビデオペアを区別することを目的とした,新しいシーケンス検証タスクを提案する。
このような困難なタスクは、事前のアクション検出やセグメンテーションなしで、オープンセット設定に置かれる。
我々は、化学実験において、あらゆる段階的な変換を列挙したスクリプト付きビデオデータセットを収集する。
論文 参考訳（メタデータ） (2021-12-13T07:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。