論文の概要: CrossSWE: Benchmarking Cross-Repository Joint Development for Coding Agents

• arxiv url: http://arxiv.org/abs/2611.01484v1
• Date: Sun, 01 Nov 2026 03:16:52 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:44:04.539543
• Title: CrossSWE: Benchmarking Cross-Repository Joint Development for Coding Agents
• Title（参考訳）: CrossSWE: コーディングエージェントのためのクロスリポジトリ共同開発ベンチマーク
• Abstract要約: CrossSWEは165のリポジトリ、20の技術的ドメイン、13のプログラミング言語にまたがる171の現実世界のインスタンスからなるクロスリポジトリ共同開発のためのベンチマークである。 最強モデルである GPT-6.1 Sol は 58.48% Pass@1 しか達成できない。 リポジトリ間の不整合は最も一般的な障害モードとして現れ、相互依存リポジトリ間の一貫性を維持することの難しさを強調している。
• 参考スコア（独自算出の注目度）: 31.716615743224725
• License:
• Abstract: As coding agents achieve increasingly high success rates on software engineering benchmarks, recent efforts have sought to increase task complexity through longer horizons and more extensive code modifications. However, real-world software development often spans multiple interdependent repositories, introducing additional challenges in dependency reasoning, change propagation, and interface consistency. Rather than further increasing complexity within individual repositories, we introduce CrossSWE, a benchmark for cross-repository joint development comprising 171 real-world instances spanning 165 repositories, 20 technical domains, and 13 programming languages. CrossSWE verifies the necessity of coordinated changes by testing whether partial repository modifications are insufficient to achieve the intended behavior. Our evaluation of five LLMs reveals substantial challenges, with the strongest model, GPT-6.1 Sol, achieving only 58.48% Pass@1. Furthermore, cross-repository inconsistencies emerge as the most prevalent failure mode (44.2%), highlighting the difficulty of maintaining consistency across interdependent repositories.
• Abstract（参考訳）: コーディングエージェントがソフトウェアエンジニアリングベンチマークで高い成功率を達成するにつれ、最近の取り組みは、より長い地平線とより広範なコード修正によってタスクの複雑さを増大させようとしている。 しかし、現実のソフトウェア開発は複数の相互依存リポジトリにまたがることが多く、依存関係の推論、変更の伝搬、インターフェースの一貫性といった課題が伴う。 これは165のリポジトリ、20の技術的ドメイン、13のプログラミング言語にまたがる171の現実世界のインスタンスからなるクロスリポジトリ共同開発のためのベンチマークです。 CrossSWEは、意図した振る舞いを達成するのに、部分的なリポジトリ修正が不十分かどうかをテストすることによって、コーディネートされた変更の必要性を検証する。 最強モデルである GPT-6.1 Sol は 58.48% Pass@1 しか達成できない。 さらに、リポジトリ間の不整合は最も一般的な障害モード(44.2%)として現れ、相互依存リポジトリ間の一貫性を維持することの難しさを強調している。

関連論文リスト

• When Requirements Interact: Scaling Long-Horizon Coding via Interdependent Specifications [20.541260288323123]
  リッチで相互依存的な仕様でタスクを合成するフレームワークであるCodeSpecWeaveを紹介します。 我々は2,865リポジトリで4,670のトレーニングタスクを構築します。 これらのタスクに強化学習を適用することで、DeepSWE-v1.1のベースモデルよりもパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2026-10-29T15:22:49Z)
• WEAVE: Weaving Real-World Code Evolution into Dependency-Structured Tasks for Benchmarking and Training Code Agents [25.457812561470032]
  WEAVEは,検証済みのPR履歴を実行可能な依存性構造化タスクに変換するフレームワークである。 さらに、依存性に一貫性のある部分的な進捗を測定する、決定論的でテスト対象のメトリクスであるGraph Creditを導入します。 タスク構築、エージェント評価、教師付き微調整、強化学習の実験は、WAEAVEがコヒーレントな実行可能なタスクを得られることを示している。
  論文  参考訳（メタデータ） (2026-10-15T15:12:56Z)
• SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
  我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。 我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。 11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
  論文  参考訳（メタデータ） (2026-03-25T19:26:44Z)
• Effective Strategies for Asynchronous Software Engineering Agents [52.76455094324273]
  本稿では,集中型タスクデリゲート,非同期実行,独立したワークスペースという,3つのSWEプリミティブに根ざした構造化マルチエージェント協調パラダイムを導入する。 CAIDは,紙再生タスク(PaperBench)では26.7%,Pythonライブラリ開発タスクでは14.3%,単一エージェントベースラインでは26.7%の精度向上を実現している。
  論文  参考訳（メタデータ） (2026-03-23T02:26:35Z)
• EvoClaw: Evaluating AI Agents on Continuous Software Evolution [47.49468375065129]
  ノイズの多いコミットログから検証可能なマイルストーンDAGを再構築するエージェントパイプラインであるDeepCommitを紹介する。 これらの実行可能なシーケンスは、エージェントがシステムの完全性を維持し、エラーの蓄積を制限する必要がある新しいベンチマークであるEvoClawを可能にする。
  論文  参考訳（メタデータ） (2026-03-13T03:20:40Z)
• BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing? [61.247730037229815]
  BeyondSWEは2つの軸 – 解像度スコープと知識スコープ – に沿って既存の評価を拡張する包括的なベンチマークです。 外部知識の役割を解明するために,ディープ検索とコーディング能力を統合するフレームワークであるSearchSWEを開発した。 この作業は、現実的で挑戦的な評価ベンチマークと、より有能なコードエージェントに向けた研究を進めるための柔軟なフレームワークの両方を提供する。
  論文  参考訳（メタデータ） (2026-03-03T17:52:01Z)
• SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios [6.776894728701934]
  AIコーディングエージェントの既存のベンチマークでは、バグの修正や小さな機能の実装など、独立した単一課題のタスクに重点を置いている。 SWE-EVO(SWE-EVO)は、長期的ソフトウェア進化課題におけるエージェントの評価を行うベンチマークである。 ツールには48の進化タスクが含まれており、エージェントは平均21ファイルにまたがる複数ステップの修正を行う必要がある。
  論文  参考訳（メタデータ） (2025-12-20T19:08:15Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。