論文の概要: SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions

• arxiv url: http://arxiv.org/abs/2606.30573v1
• Date: Mon, 29 Jun 2026 17:17:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.357747
• Title: SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions
• Title（参考訳）: SWE-InTERACT: SWEベンチマークをユーザ主導の長距離コーディングセッションとして再定義する
• Authors: Mohit Raghavendra, Anisha Gunjal, Aakash Sabharwal, Yunzhong He,
• Abstract要約: SWE-Interactは、エージェントを現実的な開発者ワークフローに配置する。 それは曖昧で不完全な命令から始まり、徐々に要求を明らかにする。 目標とするフィードバックやリビジョン,新たな制約を,完全なタスク目標が引き渡されるまで提供します。
• 参考スコア（独自算出の注目度）: 3.67653051806469
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce SWE-Interact, a new testbed for evaluating coding agents on multi-turn, interactive, user-driven software engineering tasks. Existing frontier SWE benchmarks typically provide complete requirements upfront and evaluate agents on autonomous implementation. In contrast, SWE-Interact places agents in a realistic developer workflow: a carefully designed user simulator starts with vague or incomplete instructions, progressively reveals requirements, inspects the agent's workspace, and provides targeted feedback, revisions, and new constraints until the full task goal has been handed off. Grounded in large-scale studies of real coding-agent interactions, this setup tests whether agents can discover user intent, adapt to evolving requirements, and build on their own prior work. Across a suite of frontier and open-weight models, we find that strong performance on single-turn SWE tasks does not reliably transfer to multi-turn, user-driven workflows: the best-performing models solve roughly 50% of single-turn baseline tasks but only 25% of the corresponding SWE-Interact tasks. The strongest models in our evaluation, including Opus 4.8 and GPT 5.5, start strong even in the face of vague initial instructions, persevere until all the requirements are surfaced by the user, integrate them better and write clean code. However, they still suffer from over-agentic coding, forgetting requirements and technical mistakes. Weaker models start poorly under ambiguity, give up early, forget or ignore instructions and rework their code more. Overall, SWE-Interact measures an orthogonal, real-world capability axis for frontier model development: interactive goal discovery and iterative refinement with a user in the loop.
• Abstract（参考訳）: SWE-Interactは、マルチターン、インタラクティブ、ユーザ主導のソフトウェアエンジニアリングタスクにおいて、コーディングエージェントを評価するための新しいテストベッドである。 既存のフロンティアSWEベンチマークは、通常、完全な要求を前もって提供し、自律的な実装においてエージェントを評価する。 これとは対照的に、SWE-Interactはエージェントを現実的な開発者ワークフローに配置する: 慎重に設計されたユーザーシミュレータは、曖昧または不完全な命令から始まり、要求を徐々に明らかにし、エージェントのワークスペースを検査し、目標とするフィードバック、リビジョン、新しい制約を、完全なタスクのゴールが引き渡されるまで提供する。 このセットアップは、実際のコーディングエージェントインタラクションに関する大規模な研究に基づいており、エージェントがユーザの意図を発見し、要求に適応し、自身の以前の作業に基づいて構築できるかどうかをテストする。 最良性能のモデルでは、シングルターンベースラインタスクの約50%を解決しているが、対応するSWE-Interactタスクの25%しか解決していない。 Opus 4.8 や GPT 5.5 など,私たちの評価において最強のモデルでは,不明瞭な初期命令に直面した場合でも,すべての要件がユーザによって表面化され,よりよく統合され,クリーンなコードを記述するまで,強く始まります。 しかし、彼らはまだ過剰なコーディング、要求と技術的なミスを忘れている。 Weakerモデルは、曖昧さ、早期諦め、命令を忘れたり無視したり、コードを再設計したりすることで、まずいスタートを切った。 全体として、SWE-Interactはフロンティアモデル開発のための直交的で現実世界の能力軸を計測する。

関連論文リスト

• The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
  本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。 評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。 メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
  論文  参考訳（メタデータ） (2026-06-03T04:58:17Z)
• GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
  我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。 eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。 i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
  論文  参考訳（メタデータ） (2026-05-28T01:05:50Z)
• VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
  我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。 結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T15:07:38Z)
• SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows? [29.5539656241093]
  Computer-Using Agents (CUA)は、より複雑な環境でのアクション実行に対するテキストベースの推論を超えて、大規模言語モデル(LLM)を急速に拡張している。 既存のベンチマークは、しばしば単純化された設定、孤立したタスク、短期水平相互作用に依存している。 6つのプロフェッショナルドメインにわたる23のデプロイ可能なシステム上に構築されたベンチマークには、現実的な作業シナリオに基づく106のタスクが含まれています。 実験の結果、LLMベースのエージェントがベンチで苦労していることが示され、最強のモデルでさえ、エンドツーエンドのタスクの4%未満を完了している。
  論文  参考訳（メタデータ） (2026-05-15T09:35:15Z)
• GTA-2: Benchmarking General Tool Agents from Atomic Tool-Use to Open-Ended Workflows [90.35728421223673]
  GTA-2はジェネラル・ツール・エージェント(GTA)の階層的なベンチマークである 現実世界の認証に基づいて構築され、実際のユーザクエリ、デプロイツール、マルチモーダルコンテキストを活用する。 実験では、フロンティアモデルは既に原子タスクに苦戦しているが、トップモデルは14.39%の成功しか達成していない。
  論文  参考訳（メタデータ） (2026-04-17T05:36:00Z)
• BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing? [61.247730037229815]
  BeyondSWEは2つの軸 – 解像度スコープと知識スコープ – に沿って既存の評価を拡張する包括的なベンチマークです。 外部知識の役割を解明するために,ディープ検索とコーディング能力を統合するフレームワークであるSearchSWEを開発した。 この作業は、現実的で挑戦的な評価ベンチマークと、より有能なコードエージェントに向けた研究を進めるための柔軟なフレームワークの両方を提供する。
  論文  参考訳（メタデータ） (2026-03-03T17:52:01Z)
• TOM-SWE: User Mental Modeling For Software Engineering Agents [75.28749912645127]
  ToM-SWEは、プライマリ・ソフトウェア・エンジニアリング(SWE)エージェントとライトウェイト・オブ・ミンド(ToM)パートナーエージェントを組み合わせたデュアルエージェントアーキテクチャである。 ToM-SWEは、ユーザー目標、制約、およびインストラクションとインタラクション履歴から好みを推測する。 2つのソフトウェアエンジニアリングベンチマークでは、ToM-SWEはタスクの成功率とユーザの満足度を改善する。
  論文  参考訳（メタデータ） (2025-10-24T16:09:51Z)
• SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents [31.921127664873882]
  LLMベースのエージェントは、SWE(Software Engineering)タスクの増加に期待できる能力を示している。 高品質なトレーニングデータは、特に現実世界のSWEシナリオを反映したデータが少ない。 既存のデータセットはワンショットのコード生成に限られるか、小さな手作業による対話的なタスクのコレクションで構成されている。
  論文  参考訳（メタデータ） (2025-05-26T18:01:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。