論文の概要: UserSWE: Evaluating Coding Agents in Multi-Turn Conversations with Dynamic Users
- arxiv url: http://arxiv.org/abs/2610.29822v1
- Date: Wed, 21 Oct 2026 14:46:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 09:50:43.256697
- Title: UserSWE: Evaluating Coding Agents in Multi-Turn Conversations with Dynamic Users
- Title（参考訳）: UserSWE:動的ユーザとのマルチスレッド会話における符号化エージェントの評価
- Abstract要約: 我々は,動的ユーザとのマルチターンインタラクションを通じて,リポジトリレベルのバグを修正するコーディングエージェントの能力を評価するためのUserSWEを紹介する。
私たちの構築パイプラインは、リポジトリ履歴と既存のシングルターンベンチマークをマルチターンタスクに変換します。
42のリポジトリから72タスクのエージェントを11個評価し,インタラクション予算によってエージェントランキングが変化することを確認した。
- 参考スコア（独自算出の注目度）: 14.199209477847022
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As coding agents become more capable, developers increasingly use them to fix bugs through multi-turn interactions. Existing benchmarks do not adequately cover this scenario. Most present a complete issue report in a single turn without interaction. Their evaluation can produce both false positives and false negatives, accepting incorrect patches or rejecting correct ones. We introduce UserSWE for evaluating coding agents' ability to fix repository-level bugs through multi-turn interactions with dynamic users and execution-grounded verdicts at every turn. Its construction pipeline turns repository history and existing single-turn benchmarks into multi-turn tasks. At each turn, information pools constrain what the simulated user can reveal, while a persona chain sampled from a transition model calibrated on 20,859 development sessions governs how it speaks. Tests run after every turn, and a pair of agents from different model families writes and gates each verdict, using test results as primary evidence and model judgment only for aspects the tests cannot resolve. We evaluate eleven agents on 72 tasks from 42 repositories and find that agent rankings change with the interaction budget. Claude Fable 5.1 resolves the most tasks in one turn, GPT-6-Astra resolves the most by the eighth turn, and Claude Opus 5 leads at most intermediate budgets. These results indicate that single-turn performance is insufficient to characterize interactive coding ability.
- Abstract（参考訳）: コーディングエージェントの能力が向上するにつれ、開発者はマルチターンインタラクションによるバグ修正にますます利用している。
既存のベンチマークはこのシナリオを十分にカバーしていない。
ほとんどは、インタラクションなしで1ターンで完全なイシューレポートを提示する。
彼らの評価は偽陽性と偽陰性の両方を生成し、不正なパッチを受け入れたり、正しいパッチを拒絶する。
本稿では,動的ユーザとのマルチターンインタラクションと各ターンでの実行地上検証により,コードエージェントがリポジトリレベルのバグを修正する能力を評価するためのUserSWEを紹介する。
構成パイプラインはリポジトリ履歴と既存のシングルターンベンチマークをマルチターンタスクに変換する。
それぞれのターンで、情報プールは、シミュレーションされたユーザーが明らかにできることを制限し、20,859回の開発セッションで調整された遷移モデルからサンプリングされたペルソナチェーンは、その会話の仕方を管理する。
テストはターン毎に実行され、異なるモデルファミリーのエージェントが各判断を書いてゲートし、テスト結果を主要な証拠として使用し、テストが解決できない側面のみをモデル判断する。
42のリポジトリから72タスクのエージェントを11個評価し,インタラクション予算によってエージェントランキングが変化することを確認した。
クロード・ファブ5.1は1ターンで最大のタスクを解決し、GPT-6-アストラは8ターンで最大のタスクを解決し、クロード・オプス5はほとんどの中間予算でリードする。
これらの結果から,対話型符号化能力を特徴付けるにはシングルターン性能が不十分であることが示唆された。
関連論文リスト
- SWEeper-Bench: Can Agents Discover Bugs in Interactive Software? [29.095588094625697]
コーディングエージェントは、テキストで返信するのではなく、インタラクティブなソフトウェアをリアルタイムで生成することで、ユーザーと対話するようになっている。
既存のベンチマークでは、バグはすでに特定されており、エージェントがインタラクションに依存した障害を見つける能力はほとんど評価されていないと仮定している。
我々はSWEeper-Benchを紹介します。200のオープンソースWebアプリケーションで、実際のバグ修正から構築された200のタスクを紹介します。
論文 参考訳（メタデータ） (2026-10-08T19:05:11Z) - MTAC-IFBench: Benchmarking Instruction-Following in Multi-Turn Agentic Coding [83.0805548642958]
MTAC-IFBenchは、ソフトウェア開発におけるインストラクションフォローのための包括的なベンチマークである。
6つのプライマリと18のセカンダリカテゴリにまたがるさまざまな制約を持つ、多ターンプログレッシブなソフトウェア開発指示が特徴である。
MTAC-IFBenchは、マルチターン命令フォローにおける既存のコードエージェントの重大な欠陥を認識し、インタラクションセッションが長くなるにつれてパフォーマンスが急速に低下する。
論文 参考訳（メタデータ） (2026-09-14T03:57:37Z) - ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳（メタデータ） (2026-06-30T06:06:08Z) - SWE-Together: Evaluating Coding Agents in Interactive User Sessions [19.069719245971786]
実際のユーザエージェントコーディングセッションから再構成したマルチターンベンチマークであるSWE-Togetherを紹介する。
11,260のセッションから109のリポジトリレベルのタスクをキュレートし、リカバリ可能なレポジトリステートでセッションを選択します。
我々は、元のユーザの意図を保存し、コーディングエージェントの進捗が必要な時にフィードバックを提供する、リアクティブLLMベースのユーザシミュレータを構築します。
論文 参考訳（メタデータ） (2026-06-29T08:35:15Z) - StaminaBench: Stress-Testing Coding Agents over 100 Interaction Turns [45.43677974796221]
コーディングエージェントのスタミナを測定するベンチマークであるStaminaBenchを紹介する。
一般的な分数タスクのメトリクスとは異なり、これはセッションが数十回、数百回実行される実際のバイブコーディングと一致します。
論文 参考訳（メタデータ） (2026-06-17T21:36:09Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z) - MUG: Interactive Multimodal Grounding on User Interfaces [12.035123646959669]
本稿では,ユーザとエージェントがインタフェース画面上で協調作業を行うマルチモーダルグラウンドのための対話型タスクMUGを提案する。
ユーザがコマンドを与え、エージェントがコマンドに応答する。MUGはエージェントの応答を見る際に、エージェントがそのアクションを洗練または修正するための追加コマンドを与えるように、複数のラウンドのインタラクションを可能にする。
論文 参考訳（メタデータ） (2022-09-29T21:08:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。