論文の概要: SWE-DIVE: Multi-Turn Coding Agent Evaluation with Dynamic User Simulation
- arxiv url: http://arxiv.org/abs/2610.30047v1
- Date: Wed, 21 Oct 2026 17:06:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.454033
- Title: SWE-DIVE: Multi-Turn Coding Agent Evaluation with Dynamic User Simulation
- Title（参考訳）: SWE-DIVE:動的ユーザシミュレーションによるマルチターン符号化エージェントの評価
- Abstract要約: SWE-DIVEは、マルチターン環境におけるコーディングエージェントのベンチマークのための、インタラクティブな検証および評価フレームワークである。
本研究では,異なる動作パターンをシミュレートし,コーディングエージェントと通信するユーザシミュレータを提案する。
フレームワーク全体がHarbor環境に埋め込まれており、コーディングエージェント、ユーザシミュレータ、会話バリデータをオーケストレーションする。
- 参考スコア（独自算出の注目度）: 2.8547732086436306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents are typically evaluated using one-shot, well-formulated prompts. Benchmarks such as SWE-bench use existing GitHub issues as input for a coding agent and evaluate whether the agent successfully solves the task. However, in real-world use cases, prompts are often not as well-formulated or structured as existing GitHub issues. Additionally, a coding agent session is not limited to a single prompt; it typically involves a multi-turn interaction in which the user iteratively adds new tasks and requirements that the agent must fulfill. To benchmark these abilities, we developed SWE-DIVE, a dynamic, interactive validation and evaluation framework for benchmarking coding agents in a multi-turn environment. To achieve this, we introduce a user simulator that can simulate different behavioral patterns and communicate with the coding agent. We also introduce a conversation validator that evaluates the user simulator's outputs to determine whether they fulfill the initial requirements and guide the agent toward successfully solving the task. The entire framework is embedded in a Harbor environment, which orchestrates the coding agent, user simulator, and conversation validator, and executes the test environment to determine whether the agent successfully solves the task. Our results and source code are available in our GitHub repository (https://github.com/lorenzbrehme/swe-dive_usersim).
- Abstract（参考訳）: 符号化エージェントは、典型的には、一発の、よく整形されたプロンプトを用いて評価される。
SWE-benchのようなベンチマークでは、既存のGitHubイシューをコーディングエージェントの入力として使用し、エージェントがそのタスクをうまく解決したかどうかを評価する。
しかし、現実世界のユースケースでは、プロンプトは既存のGitHubのイシューほど十分に形式化されておらず、構造化されていないことが多い。
さらに、コーディングエージェントセッションは単一のプロンプトに制限されない。通常、ユーザーはエージェントが満たさなければならない新しいタスクと要求を反復的に追加するマルチターンインタラクションを伴う。
これらの能力をベンチマークするために,マルチターン環境における符号化エージェントのベンチマークのための動的かつインタラクティブな検証・評価フレームワークであるSWE-DIVEを開発した。
そこで本研究では,異なる動作パターンをシミュレートし,コーディングエージェントと通信するユーザシミュレータを提案する。
また、ユーザシミュレータの出力を評価し、初期要求を満たすかどうかを判断し、タスクをうまく解決するためのエージェントを誘導する会話検証器も導入する。
フレームワーク全体がHarbor環境に埋め込まれており、コーディングエージェント、ユーザシミュレータ、会話バリデータを編成し、テスト環境を実行して、エージェントがタスクをうまく解決するかどうかを判断する。
結果とソースコードはGitHubリポジトリ(https://github.com/lorenzbrehme/swe-dive_usersim)で公開しています。
関連論文リスト
- ICAE-Bench: Evaluating Coding Agents as Interactive Project Builders [26.859032352714276]
本稿では,インタラクティブなプロジェクト構築環境下でのコーディングエージェント評価ベンチマークICAE-Benchを紹介する。
基本的な考え方はファジィな製品要件から始め、自動化されたUser Agentで動的パラダイムをシミュレートすることです。
ICAE-Benchは、機能的正当性、セマンティックおよびAPI類似性、構造的忠実性、設計品質、相互作用品質などの多次元診断と共に標準化されたブラックボックステストを使用する。
論文 参考訳（メタデータ） (2026-07-23T11:31:38Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions [3.67653051806469]
SWE-Interactは、エージェントを現実的な開発者ワークフローに配置する。
それは曖昧で不完全な命令から始まり、徐々に要求を明らかにする。
目標とするフィードバックやリビジョン,新たな制約を,完全なタスク目標が引き渡されるまで提供します。
論文 参考訳（メタデータ） (2026-06-29T17:17:45Z) - SWE-Together: Evaluating Coding Agents in Interactive User Sessions [19.069719245971786]
実際のユーザエージェントコーディングセッションから再構成したマルチターンベンチマークであるSWE-Togetherを紹介する。
11,260のセッションから109のリポジトリレベルのタスクをキュレートし、リカバリ可能なレポジトリステートでセッションを選択します。
我々は、元のユーザの意図を保存し、コーディングエージェントの進捗が必要な時にフィードバックを提供する、リアクティブLLMベースのユーザシミュレータを構築します。
論文 参考訳（メタデータ） (2026-06-29T08:35:15Z) - Code as Agent Harness [107.31925305395957]
新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。
コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。
この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
論文 参考訳（メタデータ） (2026-05-18T17:59:03Z) - SWE-chat: Coding Agent Interactions From Real Users in the Wild [70.18158706281724]
SWE-chatは、オープンソースの開発者から収集された実際のコーディングエージェントセッションの大規模なデータセットである。
現在、データセットには6000のセッションが含まれており、63,000以上のユーザプロンプトと355,000のエージェントツールコールが含まれている。
論文 参考訳（メタデータ） (2026-04-22T17:08:19Z) - ISO-Bench: Can Coding Agents Optimize Real-World Inference Workloads? [0.8749675983608171]
実世界の推論タスクでその能力をテストするためのコーディングエージェントのベンチマークであるISO-Benchを紹介する。
統合プルリクエストから54のタスクをキュレートし、測定可能なパフォーマンスを改善しました。
論文 参考訳（メタデータ） (2026-02-23T08:37:53Z) - TOM-SWE: User Mental Modeling For Software Engineering Agents [75.28749912645127]
ToM-SWEは、プライマリ・ソフトウェア・エンジニアリング(SWE)エージェントとライトウェイト・オブ・ミンド(ToM)パートナーエージェントを組み合わせたデュアルエージェントアーキテクチャである。
ToM-SWEは、ユーザー目標、制約、およびインストラクションとインタラクション履歴から好みを推測する。
2つのソフトウェアエンジニアリングベンチマークでは、ToM-SWEはタスクの成功率とユーザの満足度を改善する。
論文 参考訳（メタデータ） (2025-10-24T16:09:51Z) - AgentMesh: A Cooperative Multi-Agent Generative AI Framework for Software Development Automation [0.0]
ソフトウェア開発タスクの自動化に複数のLCMエージェントを併用したPythonベースのフレームワークを提案する。
AgentMeshでは、Planner、Coder、Debugger、Reviewerといった特殊なエージェントが協力して、ハイレベルな要件を完全に実現されたコードに変換する。
論文 参考訳（メタデータ） (2025-07-26T10:10:02Z) - From Reproduction to Replication: Evaluating Research Agents with Progressive Code Masking [48.90371827091671]
AutoExperimentは、AIエージェントの機械学習実験の実装と実行能力を評価するベンチマークである。
我々は最先端のエージェントを評価し、n$が増加するにつれて性能が急速に低下することを発見した。
本研究は、長期コード生成、文脈検索、自律的な実験実行における重要な課題を浮き彫りにした。
論文 参考訳（メタデータ） (2025-06-24T15:39:20Z) - InterCode: Standardizing and Benchmarking Interactive Coding with
Execution Feedback [50.725076393314964]
標準的な強化学習環境として,インタラクティブコーディングの軽量でフレキシブルで使いやすいフレームワークであるInterCodeを紹介した。
私たちのフレームワークは、言語とプラットフォームに依存しない、自己完結型のDocker環境を使用して、安全で再現可能な実行を提供します。
我々は、異なるプロンプト戦略で構成された複数の最先端LLMを評価することにより、InterCodeの生存性をテストベッドとして示す。
論文 参考訳（メタデータ） (2023-06-26T17:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。