論文の概要: Interpreting Coding Agents Through Their Behavioral Trajectories
- arxiv url: http://arxiv.org/abs/2611.17440v1
- Date: Thu, 12 Nov 2026 19:11:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.245314
- Title: Interpreting Coding Agents Through Their Behavioral Trajectories
- Title(参考訳): コーディングエージェントの行動軌跡による解釈
- Abstract要約: 標準的なコーディングエージェントベンチマークは、主にバイナリタスクの成功を評価し、実行をブラックボックスとして扱い、それらの結果を生み出す振る舞いを無視する。
117個のユニークなモデルにまたがる125個のエージェント構成から,143,209個の大規模コーパスを解析した。
本研究では,500件のイベントに対する6モデルコンセンサス参照に対して,生のトレースをリポジトリ検索やファイル編集,テスト実行などの高レベルなアクションにマッピングするルールベーストラジェクトリを開発し,その予測を監査する。
- 参考スコア(独自算出の注目度): 45.98952248108298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard coding-agent benchmarks primarily evaluate binary task success, treating execution as a black box and obscuring the behaviors that produce those outcomes. We analyze a large corpus of 143,209 execution trajectories from 125 agent configurations spanning 117 unique models. To enable comparisons across heterogeneous agent interfaces, we develop a rule-based parser that maps raw execution traces to high-level actions such as repository search, file editing, and test execution, and audit its predictions against a six-model consensus reference on 500 events. We find that agents with similar solve rates can nevertheless differ substantially in how they explore, modify and verify code. Moreover, without using task outcomes, token counts, or tool names as features, aggregate behavioral profiles retrieve the corresponding agent stack across disjoint repository sets and programming languages, although task composition is not fully controlled in the cross-repository setting. Through analyses of frontier models and agent scaffolds, we further show that scaffold choice and reasoning effort systematically shift agents' search, editing, and testing behavior. We release the deterministic parser together with the full annotation and analysis pipeline alongside an annotated trajectory subset.
- Abstract(参考訳): 標準的なコーディングエージェントベンチマークは、主にバイナリタスクの成功を評価し、実行をブラックボックスとして扱い、それらの結果を生み出す振る舞いを無視する。
117個のユニークなモデルにまたがる125個のエージェント構成から,143,209個の大規模コーパスを解析した。
異種エージェントインタフェース間の比較を可能にするため,500件のイベントに対する6モデルコンセンサス参照に対して,生実行トレースをリポジトリ検索,ファイル編集,テスト実行などのハイレベルなアクションにマッピングし,その予測を監査するルールベースのパーサを開発した。
類似の解決率を持つエージェントは、コードの探索、修正、検証の方法に大きな違いがあることに気付きました。
さらに、タスク結果、トークン数、ツール名を機能として使用せずに、アグリゲートの挙動プロファイルは、非結合リポジトリセットとプログラミング言語をまたいだ対応するエージェントスタックを検索するが、タスク構成はクロスリポジトリ設定では完全に制御されない。
さらに、フロンティアモデルとエージェントの足場の分析を通して、エージェントの探索、編集、テストの振る舞いを体系的にシフトさせる足場選択と推論の取り組みを示す。
我々は、注釈付きトラジェクトリサブセットとともに、完全なアノテーションと分析パイプラインとともに決定論的パーサをリリースする。
関連論文リスト
- AuditKIT: A Unified Evaluation Spine for Benchmarking, Judging, and Comparing Large Language Models and Agentic Systems [3.0936206240034863]
言語モデルとエージェントを評価するには、ベンチマークの正確性、判断に基づく評価、実行時のパフォーマンス、ツール使用行動、検索品質を組み合わせる必要がある。
本稿では、これらの測定結果を1つの結果表現で記録する、ソース可利用評価ライブラリAuditKITを提案する。
エージェントはターンアウェアのツールコールマッチングを提供し、並列実行とシーケンシャル実行を分離し、検証されたタスク結果と軌道レベルの診断を区別する。
検索強化世代では、ランク付けされた検索指標、判断されたグラウンド、決定論的エビデンスチェックを組み合わせる。
論文 参考訳(メタデータ) (2026-10-15T18:05:10Z) - Transect: Retaining Observability for Long-Horizon LLM Agent Evaluations [41.078228804410436]
TransectはInspect Scout上に構築されたオープンソースパッケージで、長いエージェントがどのように展開されるのかを評価担当者が理解できるようにする。
ユーザーは再利用可能な評価カテゴリ設定でタスクコンテキストと振る舞いの語彙を指定する。
Transectのカスタマイズ可能なトランスクリプト分析パイプラインにより、評価者はより長く複雑なAI評価でペースを維持することができる。
論文 参考訳(メタデータ) (2026-10-06T13:52:15Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳(メタデータ) (2026-09-27T06:58:39Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳(メタデータ) (2026-08-23T03:07:03Z) - Agent trajectories as programs: fingerprinting and programming coding-agent behavior [0.49316866264940024]
ベンチマークスコアは、エージェントが正しいことを教えてくれます。
本研究では,モデル,タスク,アプローチが異なる状況下で,エージェントを手続き的に比較する手法を提案する。
これらの手続き的シグネチャに対する調査では、正しいエージェントに対して85.7%の精度で見当たらない軌跡があり、タスク間のリークを制御している。
論文 参考訳(メタデータ) (2026-06-15T17:28:41Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳(メタデータ) (2026-05-13T21:34:08Z) - How to Interpret Agent Behavior [56.59836196946289]
本稿では,エージェントの動作を実行時に記述・解析するための分類法であるACT*ONOMYを紹介する。
共用語彙を提供することで、ACT*ONOMYは研究者、エージェントデザイナー、エンドユーザーがエージェントの振る舞いをより一貫して解釈するのに役立つ。
論文 参考訳(メタデータ) (2026-05-13T14:52:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。