論文の概要: Trace2Eval: Contextualized Evaluation of Coding Agents from Real-World Traces

• arxiv url: http://arxiv.org/abs/2611.06506v1
• Date: Wed, 04 Nov 2026 13:36:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.122824
• Title: Trace2Eval: Contextualized Evaluation of Coding Agents from Real-World Traces
• Title（参考訳）: Trace2Eval: 実世界のトレースから生成したコーディングエージェントの文脈的評価
• Abstract要約: コーディングエージェントは、実際のユーザタスクに根ざした評価のモチベーションとして、現実世界のインタラクションにますます使用されている。 実世界のインタラクションからベンチマークを構築するパイプラインであるTrace2Evalを提案する。 このパイプラインは、アノテータ間のアライメントを通じて人間のルーリックを反復的に洗練し、人間のアセスメントに対して判断エージェントを校正する。
• 参考スコア（独自算出の注目度）: 26.209622324260845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coding agents are increasingly used in real-world workflows across diverse domains, motivating evaluation grounded in real user tasks. Existing benchmarks, however, largely rely on static public tasks with reference patches or hidden tests. Next-generation coding-agent benchmarks should therefore move beyond correctness on fixed tasks toward continually renewed evaluation of overall artifact quality in real user workflows. We propose Trace2Eval, a dynamically updatable pipeline that constructs benchmarks from real-world interaction trajectories. Trace2Eval employs a multi-agent reconstruction system to analyze the filtered trajectory, recover the original user query, restore the workspace files to their pre-interaction state, and rebuild a trajectory-equivalent execution environment. A candidate agent then executes the reconstructed query to produce an initial artifact. To evaluate these artifacts, the pipeline iteratively refines human rubrics through inter-annotator alignment, and calibrates judge agents against human assessments using source-code and runtime evidence. Guided by feedback from the Trace2Eval pipeline, models revise their initial artifacts, yielding a mean score gain of 10.05 percentage points across 19 model-harness configurations and a maximum of 19.28 percentage points for DeepSeek-V4-Pro with Claude Code, which supports rubric feedback as actionable guidance for artifact improvement.
• Abstract（参考訳）: コーディングエージェントは、さまざまなドメインにわたる現実世界のワークフローでますます使われており、実際のユーザタスクに根ざした評価を動機付けている。 しかし、既存のベンチマークは、参照パッチや隠れテストを備えた静的な公開タスクに大きく依存している。 したがって、次世代のコーディングエージェントベンチマークは、修正されたタスクの正確性を超えて、実際のユーザワークフローにおける全体的なアーティファクトの品質を継続的に評価する必要がある。 実世界の相互作用軌跡からベンチマークを構築する動的更新可能なパイプラインであるTrace2Evalを提案する。 Trace2Evalはマルチエージェント再構築システムを使用して、フィルタされたトラジェクトリを分析し、元のユーザクエリを復元し、ワークスペースファイルを前処理状態に復元し、トラジェクトリと等価な実行環境を再構築する。 候補エージェントが再構築されたクエリを実行し、初期アーティファクトを生成する。 これらの成果物を評価するために、パイプラインはアノテータ間のアライメントを通じて人間のルーリックを反復的に洗練し、ソースコードと実行時エビデンスを使用して、人間のアセスメントに対して判断エージェントを校正する。 Trace2Evalパイプラインからのフィードバックによって、モデルは初期アーティファクトを改訂し、19のモデルハーネス構成で平均スコアが10.05ポイント、DeepSeek-V4-Pro with Claude Codeで最大19.28ポイントを得る。

関連論文リスト

• TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
  TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。 効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。 コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-09-27T06:58:39Z)
• Embodied-BenchForge: A Closed-Loop Agentic Workflow for Embodied Benchmark Construction [18.03387691479464]
  Embodied-BenchForgeは、ユーザが指定した評価意図を完全なベンチマークアーティファクトに変換するエージェントフレームワークである。 クローズドループベンチマーク合成として構築を定式化し、前方のアーティファクトと後方の検証と修復を統合する。
  論文  参考訳（メタデータ） (2026-09-11T17:16:01Z)
• Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models [74.1961755473754]
  既存の評価手法は、特定のユーザのニーズを見落とし、明確な説明なしに数値的な結果を提供する厳密なパイプラインに依存している。 本研究では,効率的,動的,多ラウンドな評価に人間的な戦略を用いる評価エージェントフレームワークを提案する。 その結果,評価エージェントは評価時間を従来の手法の10%に短縮し,比較結果が得られた。
  論文  参考訳（メタデータ） (2026-08-10T14:42:10Z)
• GRADRAG: Cross-Component Prompt Adaptation for Coordinated Multi-Agent RAG [0.5566372336864309]
  クロスコンポーネント・プロンプト適応のためのフレームワークであるGRADRAGを紹介する。 評価者は下流の回答を批判し、証拠を支持し、実行可能なフィードバックを生み出す。 GRADRAGをSQUALITYおよびQMSUMベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-07-23T13:54:38Z)
• StainFlow: Entity-Stain Tracking and Evidence Linking for Process Rewards in GUI Agents [67.03593791535786]
  強化学習(Reinforcement Learning, RL)は、長期のデジタル環境においてGUIエージェントを改善するための有望なアプローチである。 この問題を軽減するため、最近の研究はプロセス・リワード・モデル(PRM)を導入している。 PRMは、グローバルマイルストーン検証やローカルステップレベルの評価を通じて、よりきめ細かいトレーニングフィードバックを提供する。 本稿では,GUIエージェントのためのエンティティ・スタンフロープロセス報酬モデルであるStainFlowを提案する。
  論文  参考訳（メタデータ） (2026-06-05T08:17:28Z)
• A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
  現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。 本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
  論文  参考訳（メタデータ） (2026-03-04T07:23:54Z)
• ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation [51.297873393639456]
  ArtifactsBenchは自動ビジュアルコード生成評価のためのフレームワークである。 我々のフレームワークは、生成した各アーティファクトをレンダリングし、時間的スクリーンショットを通してその動的な振る舞いをキャプチャする。 我々は1,825の多様なタスクの新しいベンチマークを構築し、30以上の主要な大規模言語モデルを評価する。
  論文  参考訳（メタデータ） (2025-07-07T12:53:00Z)
• TRAIL: Trace Reasoning and Agentic Issue Localization [5.025960714013197]
  この研究は、エージェントワークフロートレースに対する堅牢でダイナミックな評価方法の必要性を明確に示している。 我々は,この分類法を用いて構築され,確立されたエージェント・ベンチマークに基づいて構築された148個の大型人名跡(TRAIL)について述べる。 生態学的妥当性を確保するため,単一エージェントシステムとマルチエージェントシステムの両方のトレースをキュレートする。
  論文  参考訳（メタデータ） (2025-05-13T14:55:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。