論文の概要: SWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?
- arxiv url: http://arxiv.org/abs/2608.23564v1
- Date: Mon, 24 Aug 2026 17:59:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.231827
- Title: SWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?
- Title（参考訳）: SWE Refactor Bench: コーディングエージェントは長い水平、全リポジトリのスタックマイグレーションを完了できるか?
- Abstract要約: SWE Refactor Benchは、20のリポジトリ全体を移行したベンチマークである。
3段階評価プロトコルは、マイグレーション完全性と行動的正確性の両方を測定する。
520は8つのフロンティアモデルと26のモデル・エフォート・コンフィグレーションから成り、520のうち28のランのみが3段階全てをパスしている。
- 参考スコア（独自算出の注目度）: 4.962568775070268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern software systems accumulate technical debt over decades of development, which makes migration expensive and largely manual. As coding agents become increasingly capable at bug fixing, can they autonomously perform such migrations? Existing benchmarks cannot answer this question because they evaluate only behavioural correctness, not whether the migration actually occurred. This leads an easy hack: agents copy the original implementation to make tests pass. We call this Blindness. To address this problem, we introduce SWE Refactor Bench, a benchmark comprising 20 whole-repository migrations, covering 4 kinds of technical debt. A three-stage evaluation protocol measures both migration completeness and behavioural correctness. (1) Migration Audit verifies that the migration occurred. (2) Behavioural Tests measure correctness with a fixed test suite. (3) Agentic Verification uses 6 independent coding agents to generate targeted tests for hidden behavioural differences. Across 520 runs from 8 frontier models and 26 model-effort configurations, only 28 of 520 runs ($5.4\%$) pass all three stages, 13 of the 20 tasks receive no accepted solution, and the best model (claude-opus-5) scores $47.0/100$. Migration completeness and behavioural correctness are distinct abilities: a few runs preserve behaviour by skipping the migration and are stopped at Migration Audit; most attempt it and break behaviour, and are stopped at Behavioural Tests. Agents cannot deliver a perfect migration: among the 340 runs that pass Migration Audit, $58\%$ reach $99\%$ of the fixed checks, yet only $26\%$ reach $100\%$. Agent capability differs across migration categories: agents score $31.4$ on build toolchain rewrites but only $5.6$ on language rewrites. Together, these findings position SWE Refactor Bench as a rigorous testbed for developing coding agents for reliable whole-repository migrations.
- Abstract（参考訳）: 現代のソフトウェアシステムは、数十年の開発期間に技術的負債を積み重ねており、移行は高価で手作業がほとんどである。
コーディングエージェントは、バグ修正の能力が増すにつれて、このような移行を自律的に行うことができるのか?
既存のベンチマークでは、移行が実際に発生したかどうかではなく、振る舞いの正しさのみを評価するため、この質問に答えることはできない。
エージェントは元の実装をコピーしてテストに合格する。
これを盲目と呼ぶ。
この問題に対処するために、SWE Refactor Benchを紹介します。これは、20のリポジトリ全体を移行したベンチマークで、4種類の技術的負債をカバーしています。
3段階評価プロトコルは、マイグレーション完全性と行動的正確性の両方を測定する。
1)移行監査は、移行が発生したことを確認します。
2) 行動検査は、固定テストスイートによる正当性を測定する。
(3)エージェント検証では、6つの独立したコーディングエージェントを使用して、隠れた振る舞いの違いに対するターゲットテストを生成する。
520は8つのフロンティアモデルと26のモデルフォート構成から成り、520のうち28のみが5.4\%$をパスし、20のタスクのうち13が受け入れられないソリューションを受け取り、最良のモデル(クロード・オプス5)は47.0/100$である。
移行をスキップして動作を保存し、移行監査で停止すること、ほとんどの場合それを試みて動作を壊すこと、振る舞いテストで停止すること、などだ。
移行監査をパスする340のランのうち、固定チェックの5,8\%$が99\%、わずか26\%$が100\%である。
エージェントはビルドツールチェーンの書き直しで31.4ドル、言語書き直しでわずか5.6ドルである。
これらの結果から,SWEリファクタベンチは信頼性の高い全リポジトリ移行のためのコーディングエージェント開発のための厳格なテストベッドとして位置づけられた。
関連論文リスト
- ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Is Agentic AI Ready for Real-World Hardware Engineering? A Deep Dive with Phoenix-bench [33.69401287706814]
我々は、ソフトウェアエンジニアリングを現実的なハードウェアエンジニアリングに移行するために構築されたエージェントAIシステムについて尋ねる。
textbfPhoenix-benchは、114のGitHubリポジトリから511の検証済みのVerilatorインスタンスの同期コーパスです。
Phoenix-benchを用いて、4つの商用エージェントと8つのオープンソースエージェント構造を均一に評価する。
論文 参考訳（メタデータ） (2026-05-13T14:14:54Z) - Coding Agents Don't Know When to Act [3.2610504259514754]
コーディングエージェントは、ソフトウェアを自律的にメンテナンスするためにますますデプロイされる。
現実のデプロイメントでは、すでに解決済みの問題に関するバグレポートに遭遇します。
最先端のモデルでさえ失敗し、35ドルから65%のケースで望ましくない変更を提案する。
論文 参考訳（メタデータ） (2026-05-08T14:10:00Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - Diffploit: Facilitating Cross-Version Exploit Migration for Open Source Library Vulnerabilities [13.559398564795048]
Diffploitは2つのキーモジュールを中心に構成された反復的で差分駆動のエクスプロイトマイグレーション手法である。
79のライブラリにわたる102のJava CVEと689のバージョンマイグレーションタスクを含む大規模データセット上でDiffploitを評価する。
84.2%のエクスプロイトの移行に成功し、変更対応のテスト修正ツールであるTARGETを52.0%、IDEAのルールベースのツールを61.6%上回った。
論文 参考訳（メタデータ） (2025-11-17T04:06:01Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳（メタデータ） (2025-09-29T18:20:27Z) - Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。
LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
論文 参考訳（メタデータ） (2025-05-23T08:23:36Z) - Migrating Code At Scale With LLMs At Google [0.0]
Googleでは,大規模で費用がかかる従来型の手動マイグレーションプロジェクトについて論じている。
変更位置探索と大規模言語モデル(LLM)を用いて開発者が移行を行うのを支援する新しい自動アルゴリズムを提案する。
我々のLLM支援ワークフローは、同様のイニシアチブのモデルとして機能する可能性が示唆された。
論文 参考訳（メタデータ） (2025-04-13T18:52:44Z) - A Unified Debugging Approach via LLM-Based Multi-Agent Synergy [39.11825182386288]
FixAgentはマルチエージェントのシナジーによる統合デバッグのためのエンドツーエンドフレームワークである。
1.25$times$ 2.56$times$レポレベルのベンチマークであるDefects4Jのバグを修正した。
論文 参考訳（メタデータ） (2024-04-26T04:55:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。