論文の概要: Do Coding Agents Reuse Existing Code or Reinvent the Wheel?
- arxiv url: http://arxiv.org/abs/2609.35357v1
- Date: Mon, 28 Sep 2026 15:04:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 06:12:58.81232
- Title: Do Coding Agents Reuse Existing Code or Reinvent the Wheel?
- Title(参考訳): コーディングエージェントは既存のコードを再利用するか、車輪を再発明するか?
- Abstract要約: 実際のリポジトリでコード再利用を監査するためのベンチマークである textbfRepoReuse を提示する。
ASTベースの依存性グラフ、ガイド付きエビデンス収集、実行検証タスク合成を組み合わせた、完全に自動化されたパイプラインで構築されている。
3000回以上の監査では、エージェントが関連するリポジトリコードの探索を徐々に停止し、ワークスペースに完全に入っている場合でも、自身の履歴の再利用を減らし、タスクチェーンの50.8%に重複ロジックを残していることが示されている。
- 参考スコア(独自算出の注目度): 22.53314827257015
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents are increasingly deployed for iterative development on real repositories, yet existing evaluation barely answers a basic question: \emph{do coding agents reuse existing code or reinvent the wheel?} The question matters: every duplicated implementation is a fix applied twice and agents produce code far faster than humans can audit, so redundancy accumulates unsupervised. Thus, we present \textbf{RepoReuse}, a multi-turn benchmark for auditing code reuse in real repositories, where requirements are revealed turn by turn and the workspace accumulates across turns. It is built by a fully automated pipeline combining AST-based dependency graphs, guided evidence collection, and execution-verified task synthesis, and scales readily to new repositories. Beyond pass rates, we measure the reuse rate together with recall and cross-turn structural redundancy. An audit over 3{,}000 turns shows that agents progressively stop exploring relevant repository code, reuse their own history less even when it is fully in the workspace, and leave duplicated logic in 50.8\% of task chains by turn~5---all while pass rates barely move. Such deficiencies are invisible to pass rates, underscoring the need to evaluate code generation beyond functional correctness.
- Abstract(参考訳): コーディングエージェントは、実際のリポジトリ上で反復的な開発のためにますますデプロイされているが、既存の評価は、基本的な疑問にほとんど答えない。
重複実装はすべて2回適用された修正であり、エージェントは人間が監査できるコードよりもはるかに高速にコードを生成するため、冗長性は監視されていない。
そこで我々は,実際のリポジトリでコード再利用を監査するためのマルチターンベンチマークである‘textbf{RepoReuse} を提示する。
ASTベースの依存性グラフ、ガイド付きエビデンスコレクション、実行検証されたタスク合成を組み合わせた、完全に自動化されたパイプラインで構築されており、新しいリポジトリに簡単にスケールできる。
パスレートを超えて、リコールとクロスターン構造冗長性とともに再利用率を測定します。
3{,}000回以上の監査では、エージェントが関連するリポジトリコードの探索を徐々に停止し、ワークスペースに完全に入っている場合でも、自身の履歴を再利用しなくなり、重複したロジックを50.8\%のタスクチェーンに残す。
このような欠陥は、機能的正確性を超えたコード生成を評価する必要性を強調し、パスレートには見えない。
関連論文リスト
- Adaptive Critical Token-Aware Retrieval for Repository-Level Code Generation [53.85136813868056]
ACToRは、リポジトリレベルのコード生成のための適応型クリティカルトークン対応検索フレームワークである。
我々は、ACToRが、リポジトリレベルのベンチマークにおいて、最先端のメソッドを一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2026-09-01T17:59:39Z) - Schrödinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It? [19.90647051617726]
SchrodingerRepoは、動的にインスタンス化されたリポジトリ表現の下でコーディングエージェントをテストするための評価フレームワークである。
結果として、よく知られたリポジトリのキューを削除することで、エージェントのパフォーマンスが一貫して低下し、モデル間のインタラクションコストが大幅に増加します。
論文 参考訳(メタデータ) (2026-08-21T02:34:34Z) - Beyond Isolated Tasks: A Framework for Evaluating Coding Agents on Sequential Software Evolution [5.10403054516716]
既存のデータセットは、分離された単一のプルリクエスト(PR)タスクのパフォーマンスをステートレスな方法で評価する。
本稿では,SWE-STEPSのデータセット生成を支援する自動コーディングタスク生成フレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-03T13:44:40Z) - NL2Repo-Bench: Towards Long-Horizon Repository Generation Evaluation of Coding Agents [79.29376673236142]
既存のベンチマークは、完全なソフトウェアシステムを構築するのに必要な長期的能力の厳格な評価に失敗する。
符号化エージェントの長期リポジトリ生成能力を評価するために設計されたベンチマークであるNL2Repo Benchを提案する。
論文 参考訳(メタデータ) (2025-12-14T15:12:13Z) - R2C2-Coder: Enhancing and Benchmarking Real-world Repository-level Code Completion Abilities of Code Large Language Models [62.20537000942005]
我々は,R2C2-Coderを提案し,大規模言語モデルの実世界のリポジトリレベルのコード補完能力を向上し,ベンチマークする。
R2C2-Coderには、コードプロンプトコンストラクションメソッドR2C2-Enhanceと、よく設計されたベンチマークR2C2-Benchが含まれている。
論文 参考訳(メタデータ) (2024-06-03T14:24:29Z) - RepoCoder: Repository-Level Code Completion Through Iterative Retrieval
and Generation [96.75695811963242]
RepoCoderはリポジトリレベルのコード補完プロセスを合理化するフレームワークである。
類似性ベースのレトリバーと、事前訓練されたコード言語モデルが組み込まれている。
バニラ検索で拡張されたコード補完アプローチよりも一貫して優れています。
論文 参考訳(メタデータ) (2023-03-22T13:54:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。