論文の概要: Code Understanding is a Bottleneck for Coding Agents
- arxiv url: http://arxiv.org/abs/2610.10610v1
- Date: Wed, 07 Oct 2026 06:29:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.565207
- Title: Code Understanding is a Bottleneck for Coding Agents
- Title（参考訳）: コード理解はコーディングエージェントのためのボットネック
- Abstract要約: CABRA: リゴラスエージェント評価のための符号化能力ブループリントを提案する。
CABRAはコールグラフ変換によってタスクをゼロから構築し、関数ランタイム、検索、解決、命令フォローという4つの軸上のタスクサイズパラメータを介して困難をスケールする。
より大規模なCABRAタスクは、読解や解析のためのツールコールをより多く引き起こし、タスク難易度エージェントは、編集するだけでなく、編集するコードを理解することに嘘をつく可能性があることを示唆する。
- 参考スコア（独自算出の注目度）: 12.211315855144624
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Repository benchmarks (e.g., SWE-bench) for coding agents often assume that lines of code edited can predict task difficulty, but such datasets' poor control over code and task types makes it hard to know which abilities truly drive agent errors. We present CABRA: a Coding Ability Blueprint for Rigorous Agent evaluation. CABRA builds tasks from scratch as call graph transformations and scales difficulty via a task size parameter on four axes: function traversal, search, runtime resolution, and instruction following. We run eight LLMs and six coding agents on 6,840 CABRA tasks to show: 1) LLM accuracy falls as task size~grows, but agents stay near-perfect by offloading work to tools (e.g., grep); 2) Larger CABRA tasks elicit more tool calls for reading and analysis, while a separate study on SWE-bench Verified shows these tool call counts predict agents' accuracy better than lines of code edited, suggesting task difficulty for agents can lie in understanding code to edit, not just in making edits; 3) Extending CABRA to an intense understanding task where models analyze divergent logic across two classes backs this finding, as agent accuracy finally falls. More broadly, we argue for synthetic evaluations like CABRA to unmask LLM weaknesses trivialized by tools (e.g., needle-in-a-haystack) and abilities beyond just editing (e.g., understanding) that coding agents still find difficult, pairing SWE-bench-style tasks with controlled diagnosis.
- Abstract（参考訳）: コーディングエージェントのRepositoryベンチマーク(例:SWE-bench)は、コンパイルされたコードの行がタスクの困難を予測できると仮定することが多いが、そのようなデータセットのコードとタスクタイプに対する制御が貧弱なため、エージェントエラーを真に引き起こす能力を知ることは難しい。
CABRA: リゴラスエージェント評価のための符号化能力ブループリントを提案する。
CABRAはコールグラフ変換によってタスクをゼロから構築し、関数トラバーサル、サーチ、ランタイム解決、命令従順の4つの軸上のタスクサイズパラメータを介して困難をスケールする。
8つのLCMと6つのコーディングエージェントを6,840のCABRAタスクで実行しています。
1) LLM の精度はタスクサイズ~grows として低下するが、エージェントはツール(例えば grep など)への作業のオフロードによってほぼ完璧に維持される。
2) CABRAタスクが大きいと、読み・分析のためのツールコールが増える一方、SWE-bench Verifiedの別の調査では、これらのツールコールは、編集されたコード行よりもエージェントの精度を予測し、編集するだけでなく、編集するコードを理解するのにエージェントのタスク困難が生じることを示唆している。
3) CABRAを2つのクラスにまたがる分散論理をモデルで解析する強烈な理解タスクに拡張すると,エージェントの精度が低下する。
より広義には、CABRAのような合成評価において、ツール(例えば、ニードル・イン・ア・ヘイスタック)や単なる編集(例えば、理解)以上の能力によって自覚されたLCMの弱点を解き放つこと、そして、コーディングエージェントが依然として難しいことを認識し、SWE-benchスタイルのタスクを制御診断と組み合わせること、などについて議論する。
関連論文リスト
- MTAC-IFBench: Benchmarking Instruction-Following in Multi-Turn Agentic Coding [83.0805548642958]
MTAC-IFBenchは、ソフトウェア開発におけるインストラクションフォローのための包括的なベンチマークである。
6つのプライマリと18のセカンダリカテゴリにまたがるさまざまな制約を持つ、多ターンプログレッシブなソフトウェア開発指示が特徴である。
MTAC-IFBenchは、マルチターン命令フォローにおける既存のコードエージェントの重大な欠陥を認識し、インタラクションセッションが長くなるにつれてパフォーマンスが急速に低下する。
論文 参考訳（メタデータ） (2026-09-14T03:57:37Z) - What Makes Software Issue Resolution Tasks Difficult for Agents? [5.974359772961166]
問題解決タスクのエージェント成功率に対応するソフトウェアタスクの構造特性について検討する。
コーディングエージェントトラジェクトリの最大オープンデータセットであるCoderForge-Previewについて,大規模な実証的研究を行った。
論文 参考訳（メタデータ） (2026-08-18T19:59:16Z) - Trace2Skill: Verifier-Guided Skill Evolution for Long-Context EDA Agents [0.3733676450456031]
テスト時間スケーリングフレームワークであるTrace2Skillを提案する。
新しいモデルをトレーニングしたり、より多くの候補ソリューションをサンプリングする代わりに、Trace2Skillはエージェントの自然言語スキルを進化可能なポリシーとして扱う。
成功と失敗モードのために繰り返しロールアウトトレースをマイニングし、それらを密集した診断やオラクルのレッスンに変換し、オラクル、ミューテータ、セレクタループを使用してタスク固有のスキルを生成する。
論文 参考訳（メタデータ） (2026-05-20T23:10:49Z) - El Agente Forjador: Task-Driven Agent Generation for Quantum Simulation [7.535793342235731]
El Agente Forjadorは、ユニバーサルコーディングエージェントが自律的にフォークし、検証し、再利用するマルチエージェントフレームワークである。
ツール生成と再利用のフレームワークがベースラインの精度を継続的に向上することを示す。
論文 参考訳（メタデータ） (2026-04-16T04:28:56Z) - ISO-Bench: Can Coding Agents Optimize Real-World Inference Workloads? [0.8749675983608171]
実世界の推論タスクでその能力をテストするためのコーディングエージェントのベンチマークであるISO-Benchを紹介する。
統合プルリクエストから54のタスクをキュレートし、測定可能なパフォーマンスを改善しました。
論文 参考訳（メタデータ） (2026-02-23T08:37:53Z) - ET-Agent: Incentivizing Effective Tool-Integrated Reasoning Agent via Behavior Calibration [68.89572566071575]
ETAgentはエージェントのツール使用行動を調整するためのトレーニングフレームワークである。
過誤行動パターンを最適行動に段階的に校正するように設計されている。
論文 参考訳（メタデータ） (2026-01-11T11:05:26Z) - GSM-Agent: Understanding Agentic Reasoning Using Controllable Environments [56.007498767771075]
GSM-Agentは複雑な環境でエージェント推論を評価するための新しいベンチマークである。
我々は,環境文書の埋め込みをノードにクラスタ化することでエージェント推論パターンを分析し,各ツールコールを最も近いノードにマッピングする。
本稿では,LLMのエージェント推論性能を向上させるためのツール拡張テストタイムスケーリング手法を提案する。
論文 参考訳（メタデータ） (2025-09-26T07:24:37Z) - SciML Agents: Write the Solver, Not the Solution [69.5021018644143]
敵の"ミスリーディング"問題の診断データセットと,1,000種類のODEタスクの大規模ベンチマークという,2つの新しいデータセットを紹介した。
オープンおよびクローズドソース LLM モデルについて, (i) 誘導型とガイド型, (ii) オフ・ザ・シェルフ対微調整型という2つの軸に沿って評価した。
予備的な結果は、慎重なプロンプトと微調整により、単純なODE問題を確実に解決できる特殊なLLMエージェントが得られることを示唆している。
論文 参考訳（メタデータ） (2025-09-12T02:53:57Z) - Steering Large Language Models between Code Execution and Textual Reasoning [22.279107036500083]
テキスト推論は、数学、論理学、最適化、探索における課題を伴うタスクの解決に固有の制限がある。
OpenAI GPT Code InterpreterとAutoGenのようなマルチエージェントフレームワークは、コード生成と実行を統合するのに顕著な能力を示している。
LLMのコード/テキスト生成を良くし、顕著な改善を実現するための3つの方法を提案する。
論文 参考訳（メタデータ） (2024-10-04T15:44:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。