論文の概要: AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation

• arxiv url: http://arxiv.org/abs/2605.12925v1
• Date: Wed, 13 May 2026 03:00:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.77493
• Title: AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation
• Title（参考訳）: AgentLens:SWE-Agent評価におけるラッキーパスの問題を明らかにする
• Abstract要約: 8つのモデルバックエンドから60個のSWEベンチ検証タスクの2,614個のOpenHandsトラジェクトリを評価した。 このサブセットで通過する軌道の中で、10.7%はラッキーパスと呼ばれる振る舞いを示す。 本稿では,SWEエージェント軌道のプロセスレベル評価フレームワークであるAgentLensを紹介する。
• 参考スコア（独自算出の注目度）: 11.272830796781925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluation of software engineering (SWE) agents is dominated by a binary signal: whether the final patch passes the tests. This outcome-only view treats a principled solution and a chaotic trial-and-error process as equivalent. We show that this equivalence is empirically false. We evaluate 2,614 OpenHands trajectories from eight model backends on 60 SWE-bench Verified tasks. Of these, 47 have enough passing trajectories to construct task-level process references, yielding a 1,815-trajectory evaluation subset. Among passing trajectories in this subset, 10.7% exhibit behavior we call a Lucky Pass: regression cycles, blind retries, missing verification, or temporally disordered exploration, implementation, and verification. We introduce AgentLens, a framework for process-level assessment of SWE-agent trajectories, and release AgentLens-Bench, a dataset of 1,815 trajectories annotated with quality scores, waste signals, divergence points, and 47 task-level Prefix Tree Acceptor (PTA) references. AgentLens builds PTA references by merging multiple passing solutions for the same task, and uses a context-sensitive intent labeler to assign actions to Exploration, Implementation, Verification, or Orchestration based on trajectory history rather than tool identity alone. On AgentLens-Bench, the quality score separates passing trajectories into Lucky, Solid, and Ideal tiers and further decomposes Lucky Passes into five recurring mechanisms. Across the eight model backends, Lucky rates range from 0.5% to 23.2%, and some models move by as many as five rank positions when ranked by quality score instead of pass rate. We release the anonymized project repository, including the AgentLens-Bench dataset and AgentLens SDK, at https://github.com/microsoft/code-agent-state-trajectories/.
• Abstract（参考訳）: ソフトウェアエンジニアリング(SWE)エージェントの評価は、最終パッチがテストに合格するかどうかというバイナリ信号によって支配される。 この結果のみの見解は、原則化された解決策とカオス的な試行錯誤プロセスを等価として扱う。 この等価性は実証的に偽であることを示す。 8つのモデルバックエンドから60個のSWEベンチ検証タスクの2,614個のOpenHandsトラジェクトリを評価した。 これらのうち47はタスクレベルのプロセス参照を構築するのに十分なパストラジェクトリを持ち、1,815のトラジェクトリ評価サブセットを生成する。 このサブセットの軌跡の中で、10.7%はラッキーパスと呼ばれる行動を示す:回帰サイクル、ブラインドリトライ、欠落した検証、時間的に乱れた探索、実装、検証。 本稿では,SWE-Adntトラジェクトリのプロセスレベル評価フレームワークであるAgentLens-Benchと,品質スコア,ムダ信号,発散点,47タスクレベルのプレフィックスツリーアクセプタ(PTA)参照を付加した1,815トラジェクトリのデータセットであるAgentLens-Benchを紹介する。 AgentLensは、同じタスクのために複数のパスソリューションをマージしてPTA参照を構築し、ツールアイデンティティのみではなく、トラジェクトリ履歴に基づいたエクスプロレーション、実装、検証、オーケストレーションにアクションを割り当てるために、コンテキスト依存のインテントラベルを使用する。 AgentLens-Benchでは、品質スコアがパストラジェクトリをLucky、Solid、Idealティアに分離し、Lucky Passesを5つの繰り返しメカニズムに分解する。 8つのモデルのバックエンド全体で、ラッキーレートは0.5%から23.2%の範囲であり、パスレートではなく、品質スコアでランク付けされた場合、最大5つのランクで移動するモデルもある。 AgentLens-BenchデータセットとAgentLens SDKを含む匿名プロジェクトリポジトリをhttps://github.com/microsoft/code-agent-state-trajectories/でリリースします。

関連論文リスト

• ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents [23.994328225666663]
  同僚は保護されたデータを開示し、不正な状態を操作し、不正なAPIを呼び出しながら、良質なタスクを完了することができる。 本稿では,行動安全を定義し,最終応答ではなく,実行軌跡からそのような行動リスクを評価するベンチマークであるActBenchを紹介する。 ActBenchには213のシナリオから600のケースが含まれており、15のリスク行動、6の実行スペース、48のWebサービスAPIがある。
  論文  参考訳（メタデータ） (2026-08-10T11:45:03Z)
• A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
  本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。 A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
  論文  参考訳（メタデータ） (2026-08-05T14:01:10Z)
• A Systematic Evaluation of Trajectory Data Curation for LoRA Fine-Tuning of Code Agents [0.0]
  専門的エージェント軌道上のオープンウェイトLSMの微調整が、有能なコードエージェントを構築するための顕著なアプローチとして現れている。 本稿では,SWEトラジェクトリデータセット上でのQwen2.5-Coder-7B-InstructのLoRA微調整のためのトラジェクトリデータフィルタリングの系統的研究について述べる。 我々は,2軸品質評価フレームワークである効率とスタイルを提案し,戦略,スケール,アブレーション分析にまたがる16の制御実験を通じて評価する。
  論文  参考訳（メタデータ） (2026-07-19T11:52:32Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Agent trajectories as programs: fingerprinting and programming coding-agent behavior [0.49316866264940024]
  ベンチマークスコアは、エージェントが正しいことを教えてくれます。 本研究では,モデル,タスク,アプローチが異なる状況下で,エージェントを手続き的に比較する手法を提案する。 これらの手続き的シグネチャに対する調査では、正しいエージェントに対して85.7%の精度で見当たらない軌跡があり、タスク間のリークを制御している。
  論文  参考訳（メタデータ） (2026-06-15T17:28:41Z)
• Bayesian-Agent: Posterior-Guided Skill Evolution for LLM Agent Harnesses [30.457068495035386]
  textbfBayesianAgentは、再利用可能なスキルとSOPを、特定のプロンプト、コンテキスト、利用環境下で凍結モデルが成功するかどうかの仮説として扱う。 ベイジアン=アジェントの記録は、軌道証拠を検証し、各技術に対して特徴条件付きカテゴリー後部を維持し、後方状態をパッチ、分割、圧縮、引退、探索のような検査可能な行動にマッピングする。
  論文  参考訳（メタデータ） (2026-06-06T21:40:19Z)
• Scaling Test-Time Compute for Agentic Coding [126.72747643609274]
  本稿では,ロールアウト軌跡のコンパクトな表現に基づくエージェントコーディングのためのテスト時間スケーリングフレームワークを提案する。 当社のフレームワークは,各ロールアウトを,その健全な仮説,進捗,障害モードを保存する構造的な要約に変換する。 提案手法は,SWE-Bench Verified および Terminal-Bench v2.0 におけるフロンティア符号化エージェントの性能を一貫して改善する。
  論文  参考訳（メタデータ） (2026-04-16T17:39:33Z)
• Spec Kit Agents: Context-Grounded Agentic Workflows [0.0]
  Spec Kit AgentsはPMと開発者の役割を持つマルチエージェントSDDパイプラインである。 読み取り専用の調査フックは,各ステージにリポジトリのエビデンスを格納する。 検証フックは環境に対する中間成果物をチェックする。
  論文  参考訳（メタデータ） (2026-04-07T00:26:49Z)
• APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
  LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。 我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
  論文  参考訳（メタデータ） (2026-03-31T00:24:56Z)
• TRAJEVAL: Decomposing Code Agent Trajectories for Fine-Grained Diagnosis [23.834704102474927]
  コードエージェントはGitHubの問題を解決することができるが、失敗した場合、現在の評価は場所や理由を可視化しない。 本稿では,エージェントトラジェクトリを3つの解釈段階に分解する診断フレームワークTRAJEVALを紹介する。 我々はこれらの診断が予測可能であることを確認し、0.87-2.1% MAEでモデルレベルのPass@1予測を達成する。
  論文  参考訳（メタデータ） (2026-03-25T05:27:03Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• Test-Driven AI Agent Definition (TDAD): Compiling Tool-Using Agents from Behavioral Specifications [0.0]
  テスト駆動型AIエージェント定義(TDAD)は、エージェントプロンプトをコンパイルされたアーティファクトとして扱う方法論である。 SpecSuite-CoreのTDADは、ポリシーコンプライアンス、グラウンドド・アナリティクス、ランブックの遵守、決定論的強制にまたがる4つのエージェントのベンチマークである。
  論文  参考訳（メタデータ） (2026-03-09T18:04:54Z)
• RSAgent: Learning to Reason and Act for Text-Guided Segmentation via Multi-Turn Tool Invocations [52.752467948588816]
  エージェント型マルチモーダル大規模言語モデル(MLLM)であるRSAgentを提案する。 RSAgentはセグメンテーション・ツールボックスをクエリし、視覚的フィードバックを観察し、歴史的観測を用いて空間仮説を改訂し、ターゲットを再ローカライズし、反復的にマスクを洗練させる。 RSAgentはReasonSegテストで66.5% gIoUのゼロショット性能を達成し、Seg-Zero-7Bを9%改善し、RefCOCOgで81.5% cIoUに達した。
  論文  参考訳（メタデータ） (2025-12-30T06:50:11Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。