論文の概要: SWE-Touch: Benchmarking Coding Agents When Users Touch the Code
- arxiv url: http://arxiv.org/abs/2608.02499v1
- Date: Mon, 03 Aug 2026 17:03:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.721931
- Title: SWE-Touch: Benchmarking Coding Agents When Users Touch the Code
- Title（参考訳）: SWE-Touch: ユーザがコードに触れたときに、コーディングエージェントのベンチマークを行う
- Abstract要約: 実際のソフトウェア開発では、コーディングエージェントが共有ワークスペースで動作し、ユーザが進行中のタスク中にコードを検査したり修正したりする必要がある。
我々は、検証済みのCounter-Editsを通じて、この設定をストレステストするフレームワークであるSWE-Touchを紹介する。
我々は、SWE-Bench ProとDeepSWEの長軸タスクに関する追加実験を行い、SWE-bench Verifiedの9つの符号化モデルを評価する。
- 参考スコア（独自算出の注目度）: 27.67528029348664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world software development requires coding agents to operate in shared workspaces where users may inspect and modify code during an ongoing task, yet existing repository-level benchmarks typically evaluate agents working alone or restrict user participation to messages. This leads us to ask: how do coding agents understand and respond to code changes in a shared workspace? We introduce SWE-Touch, a framework that stress-tests this setting through validated Counter-Edits: plausible edits to task-relevant code that conflict with task completion. SWE-Touch mines task-critical regions from multiple repair trajectories, uses a separate User Patch Generator to construct the edits, and injects them with contextual user messages when agents reach the relevant code. We evaluate nine coding models on SWE-bench Verified, with additional experiments on longer-horizon tasks from SWE-Bench Pro and DeepSWE. Counter-Edit lowers average resolve rate by 7.7 percentage points on SWE-bench Verified, with degradation also persisting on both longer-horizon benchmarks. Trajectory analysis links these failures to limited awareness of the evolving workspace: agents may retain conflicting code or replace it without sufficiently re-inspecting the repository and validating the revised code with targeted tests. These findings show that strong autonomous performance does not yet ensure the state awareness and adaptive behavior needed for shared-workspace collaboration, and point to detecting workspace changes, reconciling conflicting edits with the task, and verifying the affected behavior as key capabilities for future optimization.
- Abstract（参考訳）: 実際のソフトウェア開発では、コーディングエージェントは、ユーザが進行中のタスク中にコードを検査して修正できるような共有ワークスペースで操作する必要があるが、既存のリポジトリレベルのベンチマークでは、エージェントが単独で作業するか、メッセージへのユーザの参加を制限するのが一般的である。
コーディングエージェントは、共有ワークスペースのコード変更を理解して、どのように対応しますか?
SWE-Touchは、検証済みのCounter-Editsを通じて、この設定をストレステストするフレームワークである。
SWE-Touchは、複数の修復トラジェクトリからタスククリティカルな領域をマイニングし、分離されたUser Patch Generatorを使用して編集を構築し、エージェントが関連するコードに到達すると、それらをコンテキストのユーザメッセージで注入する。
我々は、SWE-Bench ProとDeepSWEの長軸タスクに関する追加実験を行い、SWE-bench Verifiedの9つの符号化モデルを評価する。
Counter-Edit は SWE-bench Verified で平均リゾルフレートを7.7ポイント下げる。
エージェントは、リポジトリを再検査し、ターゲットとするテストで修正されたコードを検証することなく、競合するコードを保持したり、置き換えたりすることができる。
これらの結果から,共有ワークスペースの協調作業に必要な状態認識と適応行動が十分に保証されていないこと,ワークスペースの変化の検出,タスクとの矛盾する編集の整合,影響した動作が今後の最適化の鍵となる機能として検証できることが示唆された。
関連論文リスト
- SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - Workspace Topology as an Attack Vector in Agentic Coding Assistants [33.84924547762174]
エージェントコーディングアシスタントは、新しいコード開発だけでなく、サードパーティのコードを素早く取り込み、活用するために広く利用されている。
これにより、これらのコーディングツールが開発者ドメイン内で幅広いアクセスで動作するため、悪意のあるコードが摂取されるリスクが開ける。
本研究では,新しい攻撃面の異なる寸法が敵の急速噴射実験の攻撃成功率に及ぼす影響について検討した。
論文 参考訳（メタデータ） (2026-08-14T20:30:36Z) - From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。
SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
論文 参考訳（メタデータ） (2026-07-08T21:45:34Z) - SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions [3.67653051806469]
SWE-Interactは、エージェントを現実的な開発者ワークフローに配置する。
それは曖昧で不完全な命令から始まり、徐々に要求を明らかにする。
目標とするフィードバックやリビジョン,新たな制約を,完全なタスク目標が引き渡されるまで提供します。
論文 参考訳（メタデータ） (2026-06-29T17:17:45Z) - SWE-Together: Evaluating Coding Agents in Interactive User Sessions [19.069719245971786]
実際のユーザエージェントコーディングセッションから再構成したマルチターンベンチマークであるSWE-Togetherを紹介する。
11,260のセッションから109のリポジトリレベルのタスクをキュレートし、リカバリ可能なレポジトリステートでセッションを選択します。
我々は、元のユーザの意図を保存し、コーディングエージェントの進捗が必要な時にフィードバックを提供する、リアクティブLLMベースのユーザシミュレータを構築します。
論文 参考訳（メタデータ） (2026-06-29T08:35:15Z) - Code as Agent Harness [107.31925305395957]
新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。
コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。
この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
論文 参考訳（メタデータ） (2026-05-18T17:59:03Z) - Improving the Efficiency of Language Agent Teams with Adaptive Task Graphs [52.26652574704317]
大規模言語モデル(LLM)はますますチームにデプロイされているが、既存のコーディネーションアプローチは2つの極端な部分を占めることが多い。
本稿では,Language Agent Teams for Task Evolution (LATTE)を紹介した。
論文 参考訳（メタデータ） (2026-05-07T14:19:17Z) - SWE-Edit: Rethinking Code Editing for Efficient SWE-Agent [17.74253780030394]
SWE-Editは、コード編集を2つの特別なサブエージェントに分解する。
SWE-bench Verifiedでは、SWE-Editは推論コストを17.9%削減し、解決率を2.1%改善する。
論文 参考訳（メタデータ） (2026-04-28T20:35:09Z) - SWE-Adept: An LLM-Based Agentic Framework for Deep Codebase Analysis and Structured Issue Resolution [9.339988760379915]
大規模言語モデル(LLM)は、自己完結したタスクに対して強いパフォーマンスを示す。
SWE-Adeptは、ローカライズエージェントが問題関連コードの位置を特定し、解決エージェントが対応する修正を実装するフレームワークである。
SWE-Bench Lite と SWE-Bench Pro の実験は、SWE-Adept が問題ローカライゼーションと解決の両方において、従来のアプローチよりも一貫して優れていることを示した。
論文 参考訳（メタデータ） (2026-03-01T23:52:30Z) - When Disagreements Elicit Robustness: Investigating Self-Repair Capabilities under LLM Multi-Agent Disagreements [56.29265568399648]
我々は、不一致が早期のコンセンサスを防ぎ、探索されたソリューション空間を拡張することを主張する。
タスククリティカルなステップの相違は、ソリューションパスのトポロジによってコラボレーションを損なう可能性がある。
論文 参考訳（メタデータ） (2025-02-21T02:24:43Z) - Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。
Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
論文 参考訳（メタデータ） (2024-10-02T09:11:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。