論文の概要: SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction
- arxiv url: http://arxiv.org/abs/2610.11559v1
- Date: Thu, 08 Oct 2026 09:21:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.921319
- Title: SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction
- Title（参考訳）: SWE-Journey: 長距離マルチターンインタラクションによる符号化アシスタントのより現実的な評価に向けて
- Abstract要約: 本稿では,より現実的なコーディングアシスタント評価のためのベンチマークであるSWE-Journeyを紹介する。
タスク-水平ギャップに対処するために,長軸符号化タスクを自動構築する弱-強合成パイプラインを提案する。
インタラクションギャップに対処するため、実際のインタラクションデータから4つの代表的ユーザペルソナを抽出し、現実的なコード-アシストインタラクションを再現するユーザ-シミュレートエージェントを構築する。
- 参考スコア（独自算出の注目度）: 21.29960015307355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coding assistants such as Claude Code and Codex have become a major application of LLM agents, yet existing benchmarks remain far from real-world use, particularly in task horizon and interaction length. Code assistants require completing long chains of development work in continuously evolving repositories, while repeatedly clarifying requirements and adapting implementations through multi-turn interaction. To address these gaps, we introduce SWE-Journey, a benchmark for more realistic evaluation of coding assistants. To address the task-horizon gap, we propose a weak-to-strong synthesis pipeline that automatically constructs long-horizon coding tasks. To address the interaction gap, we mine four representative user personas from real interaction data and build a user-simulation agent to reproduce realistic code-assistance interactions. On average, models pass over 75% of tests for requested functionality with software architects, but fewer than 25% with non-coders. These results show that current coding assistants still fall short of enabling reliable coding for non-coders. We further analyze the reasons for this gap and identify asking right, finding right, and fixing right as key capabilities during interaction.
- Abstract（参考訳）: Claude Code や Codex といったコーディングアシスタントは LLM エージェントのメジャーな応用となっているが、既存のベンチマークは実際の用途、特にタスクの水平線や相互作用長には及ばない。
コードアシスタントは、継続的に進化するリポジトリにおいて、長いチェーンの開発作業を完了し、要求を繰り返し明確化し、マルチターンインタラクションを通じて実装を適用する必要がある。
これらのギャップに対処するために、コーディングアシスタントのより現実的な評価のためのベンチマークであるSWE-Journeyを紹介する。
タスク-水平ギャップに対処するために,長軸符号化タスクを自動構築する弱-強合成パイプラインを提案する。
インタラクションギャップに対処するため、実際のインタラクションデータから4つの代表的ユーザペルソナを抽出し、現実的なコード-アシストインタラクションを再現するユーザ-シミュレートエージェントを構築する。
平均して、モデルはソフトウェアアーキテクトによる要求された機能のテストの75%以上をパスしますが、非コーダでは25%以下です。
これらの結果は、現在のコーディングアシスタントは、非コーダの信頼性の高いコーディングを可能にするには至っていないことを示している。
さらに、このギャップの理由を分析し、インタラクション中に重要な機能として、質問権、質問権、修正権を特定します。
関連論文リスト
- MTAC-IFBench: Benchmarking Instruction-Following in Multi-Turn Agentic Coding [83.0805548642958]
MTAC-IFBenchは、ソフトウェア開発におけるインストラクションフォローのための包括的なベンチマークである。
6つのプライマリと18のセカンダリカテゴリにまたがるさまざまな制約を持つ、多ターンプログレッシブなソフトウェア開発指示が特徴である。
MTAC-IFBenchは、マルチターン命令フォローにおける既存のコードエージェントの重大な欠陥を認識し、インタラクションセッションが長くなるにつれてパフォーマンスが急速に低下する。
論文 参考訳（メタデータ） (2026-09-14T03:57:37Z) - SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions [3.67653051806469]
SWE-Interactは、エージェントを現実的な開発者ワークフローに配置する。
それは曖昧で不完全な命令から始まり、徐々に要求を明らかにする。
目標とするフィードバックやリビジョン,新たな制約を,完全なタスク目標が引き渡されるまで提供します。
論文 参考訳（メタデータ） (2026-06-29T17:17:45Z) - Beyond Isolated Tasks: A Framework for Evaluating Coding Agents on Sequential Software Evolution [5.10403054516716]
既存のデータセットは、分離された単一のプルリクエスト(PR)タスクのパフォーマンスをステートレスな方法で評価する。
本稿では,SWE-STEPSのデータセット生成を支援する自動コーディングタスク生成フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-03T13:44:40Z) - BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing? [61.247730037229815]
BeyondSWEは2つの軸 – 解像度スコープと知識スコープ – に沿って既存の評価を拡張する包括的なベンチマークです。
外部知識の役割を解明するために,ディープ検索とコーディング能力を統合するフレームワークであるSearchSWEを開発した。
この作業は、現実的で挑戦的な評価ベンチマークと、より有能なコードエージェントに向けた研究を進めるための柔軟なフレームワークの両方を提供する。
論文 参考訳（メタデータ） (2026-03-03T17:52:01Z) - Multi-Agent Systems for Dataset Adaptation in Software Engineering: Capabilities, Limitations, and Future Directions [8.97512410819274]
本稿では,データセット適応タスクにおいて,最先端のマルチエージェントシステムがどのように機能するかについて,最初の実証的研究を行う。
我々は、GitHub Copilotを評価し、ROCODEやLogHub2.0といったベンチマークリポジトリからSE研究成果物を適用する。
その結果、現在のシステムはキーファイルを識別し、部分的な適応を生成することができるが、正しい実装を生成することは滅多にない。
論文 参考訳（メタデータ） (2025-11-26T13:26:11Z) - CoDA: Agentic Systems for Collaborative Data Visualization [57.270599188947294]
深層研究はデータ分析に革命をもたらしたが、データサイエンティストは依然として手作業による視覚化にかなりの時間を費やしている。
単純なシングルエージェントシステムやマルチエージェントシステムを含む既存のアプローチは、しばしばタスクを単純化する。
本稿では,メタデータ分析,タスク計画,コード生成,自己回帰に特殊なLLMエージェントを利用するマルチエージェントシステムであるCoDAを紹介する。
論文 参考訳（メタデータ） (2025-10-03T17:30:16Z) - AgentMesh: A Cooperative Multi-Agent Generative AI Framework for Software Development Automation [0.0]
ソフトウェア開発タスクの自動化に複数のLCMエージェントを併用したPythonベースのフレームワークを提案する。
AgentMeshでは、Planner、Coder、Debugger、Reviewerといった特殊なエージェントが協力して、ハイレベルな要件を完全に実現されたコードに変換する。
論文 参考訳（メタデータ） (2025-07-26T10:10:02Z) - Exploring Prompt Patterns in AI-Assisted Code Generation: Towards Faster and More Effective Developer-AI Collaboration [3.1861081539404137]
本稿では,AI支援コード生成に必要となるインタラクション数を最小化するために,構造化されたプロンプトパターンの適用について検討する。
我々は,開発者とAI間の往復通信を減らすことの有効性を評価するために,異なる7つのプロンプトパターンを分析した。
論文 参考訳（メタデータ） (2025-06-02T12:43:08Z) - Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。
Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
論文 参考訳（メタデータ） (2024-10-02T09:11:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。