論文の概要: Time-Consistent Evaluation of Hierarchical Code Graphs for SWE Agents
- arxiv url: http://arxiv.org/abs/2611.17388v1
- Date: Thu, 12 Nov 2026 00:51:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.238503
- Title: Time-Consistent Evaluation of Hierarchical Code Graphs for SWE Agents
- Title(参考訳): SWEエージェントの階層型コードグラフの時間一貫性評価
- Abstract要約: Sunの時間一貫性のあるベンチマークプロトコル(2026年)に基づいて、C++ではDragonFly、JavaScript/TypeScriptではReactでDragonFlyを厳格にゼロ推論分離します。
本研究では,(1)拡張されていないベースライン,(2)フラットな構文レベルツリーシッターASTグラフ,(3)ServiceExplorerの3つのコンテキスト拡張方式の一致した評価を行う。
- 参考スコア(独自算出の注目度): 12.133814977226654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating repository-aware software engineering (SWE) agents requires strict separation between pre-existing repository knowledge and future code evolution, yet standard benchmarks frequently suffer from temporal contamination and prompt-level solution leakage. Building on the time-consistent benchmark protocol of Sun (2026), we enforce strict zero-leakage isolation across DragonFly in C++ and React in JavaScript/TypeScript, locking repository snapshots and knowledge graphs at historical cutoff commits $T_0$ and evaluating 100 post-$T_0$ pull requests across four prompt granularities: Minimal, Concise, Contextual, and Guided. Under this zero-leakage protocol, we conduct a matched evaluation of three context-augmentation regimes: (1) an unaugmented Baseline, (2) a flat syntax-level Tree-sitter AST graph, and (3) ServiceExplorer, a deterministic two-level hierarchical dependency graph capturing Level-1 system/package containers and Level-2 architectural modules. Across 7,200 paired evaluations spanning six foundation models across the MAI-Code Flash, Claude, and GPT-Sol families, ServiceExplorer consistently outperforms both Baseline and Tree-sitter AST across every model, repository, and prompt granularity ($+15.6\%$ to $+86.2\%$ relative $F_1$ lift, $p < 10^{-4}$), while tripling exact full-PR localization on DragonFly. Crucially, equipping an efficiency-tier or prior-generation model with ServiceExplorer consistently surpasses the unaugmented Baseline $F_1$ of the next-generation model across all evaluated families.
- Abstract(参考訳): リポジトリ対応ソフトウェアエンジニアリング(SWE)エージェントを評価するには、既存のリポジトリ知識と将来のコード進化を厳密に分離する必要があるが、標準ベンチマークはしばしば時間的汚染と即時レベルのソリューションリークに悩まされる。
Sunの時間一貫性のあるベンチマークプロトコル(2026年)に基づいて、JavaScript/TypeScriptでDragonFly、JavaScript/TypeScriptでReactでDragonFlyをまたがる厳密なゼロリーカシエーションを強制し、歴史的なカットオフでリポジトリスナップショットとナレッジグラフをロックし、T_0$をコミットし、4つの迅速な粒度(Minimmal, Concise, Contextual, Guided)をまたいだ100ポストT_0$のプルリクエストを評価します。
本プロトコルでは,(1) 拡張されていないベースライン,(2) フラットな構文レベルツリーシッターASTグラフ,(3) ServiceExplorer, 決定論的2段階階層依存性グラフ, Level-1 システム/パッケージコンテナ, そして Level-2 アーキテクチャモジュールの3つのコンテキスト拡張方式のマッチング評価を行う。
MAI-Code Flash、Claude、GPT-Solファミリーにまたがる6つの基礎モデルにまたがる7200以上の評価で、ServiceExplorerは一貫してBaselineとTree-sitterのASTをパフォーマンスし、DragonFly上で完全にフルPRローカライゼーションをしながら、すべてのモデル、レポジトリ、およびプロンプトグラニュティ($+15.6\%$ to $+86.2\%$ $ relative $F_1$ lift, $p < 10^{-4}$)を上回った。
重要なことに、ServiceExplorerで効率層または前世代モデルを装備することは、すべての評価されたファミリーで、拡張されていないベースラインの$F_1$を一貫して上回っている。
関連論文リスト
- Task-Efficient Agent Evaluation Using Cached Traces [0.3366038232188622]
エージェントシステムは、それぞれの実行毎にリッチなトレースを生成し、その能力についてかなり明らかにすることができる。
本稿では,LLMを用いて構造化された要約を抽出し,その要約を標準テキストエンコーダに埋め込むことにより,トレースを表現することを提案する。
我々は,システムの低次元表現を構築し,参照システム間の位置から新しいシステムのスコアを予測する。
論文 参考訳(メタデータ) (2026-11-04T17:20:09Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳(メタデータ) (2026-09-02T08:10:22Z) - RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。
出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。
Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
論文 参考訳(メタデータ) (2026-07-28T17:12:41Z) - ExecuGraph: A Multi-Agent, Execution-Grounded Framework for Reliable Backend Code Synthesis with Large Language Models [2.3004655342211078]
大規模言語モデルは、もっともらしいバックエンドコードを生成するが、シングルパスパラダイムは、正確性や実行時の信頼性を保証するものではない。
バックエンドコードの中心に実行ベースのバリデーションを置くマルチエージェントフレームワークであるExecuGraphを紹介します。
エージェントごとのアブレーション、再試行予算の掃除、エラークラス分類、およびテストソース監査が報告されている。
論文 参考訳(メタデータ) (2026-06-18T05:58:17Z) - EngiAI: A Multi-Agent Framework and Benchmark Suite for LLM-Driven Engineering Design [0.4499833362998488]
3つの評価次元を持つベンチマークスイートを導入する。
本稿では,LangGraph上に構築されたマルチエージェントシステム(MAS)の実装であるEngiAIを紹介する。
論文 参考訳(メタデータ) (2026-05-19T12:12:09Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳(メタデータ) (2026-05-11T16:20:51Z) - VLAA-GUI: Knowing When to Stop, Recover, and Search, A Modular Framework for GUI Automation [98.38575149237442]
VLAA-GUIは3つの統合コンポーネントを中心に構築されたモジュラーGUIフレームワークである。
必須完全性検証は、UIで観測可能な成功基準と検証を、各完了ステップで実施する。
強制的なループブレーカは、繰り返し失敗した後、多層切替インタラクションモードを提供する。
論文 参考訳(メタデータ) (2026-04-23T07:42:37Z) - ATime-Consistent Benchmark for Repository-Level Software Engineering Evaluation [6.203338195653566]
リポジトリを意識したソフトウェアエンジニアリングシステムの評価は、しばしば、合成タスク設計、迅速なリーク、リポジトリ知識と将来のコード変更の間の時間的汚染によって構築される。
本稿では,リポジトリをT0時にスナップショット化し,T0以前に利用可能なアーティファクトのみを使用してリポジトリ由来のコード知識を構築し,プルリクエストから派生したエンジニアリングタスクを将来的にマージした上で評価する,時間一貫性のあるベンチマーク手法を提案する。
論文 参考訳(メタデータ) (2026-03-27T07:46:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。