論文の概要: Schrödinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?

• arxiv url: http://arxiv.org/abs/2609.27891v1
• Date: Fri, 21 Aug 2026 02:34:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.003142
• Title: Schrödinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?
• Title（参考訳）: Schrödinger氏のCode Repository: LLMはSWE-benchを学んだか?
• Abstract要約: SchrodingerRepoは、動的にインスタンス化されたリポジトリ表現の下でコーディングエージェントをテストするための評価フレームワークである。 結果として、よく知られたリポジトリのキューを削除することで、エージェントのパフォーマンスが一貫して低下し、モデル間のインタラクションコストが大幅に増加します。
• 参考スコア（独自算出の注目度）: 19.90647051617726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Repository-level coding benchmarks have become the standard for evaluating coding agents, yet they inherently suffer from data leakage because they are built upon popular open-source repositories repeatedly used for training. Consequently, strong performance may reflect memorization of canonical repository cues rather than robust repository reasoning. We propose SchrodingerRepo (Schrödinger's Repository), an evaluation framework for testing coding agents under dynamically instantiated repository representations. Instead of repeatedly using a static representation of the test repository, SchrodingerRepo treats the test repository as an evaluation-time latent variable that is dynamically instantiated only when the agent enters the evaluation environment. The instantiated repository preserves the original executable behavior while eroding familiar cues such as naming conventions, file layouts, and implementation patterns through four transformation levels: problem statement reconstruction, namespace remapping, intra-file layout reordering, and functionality-preserving code rewriting. We evaluate popular LLMs on SWE-bench Verified and SWE-QA. Results show that removing familiar repository cues consistently degrades agent performance and substantially increases interaction costs across models. Further analysis reveals that the additional cost is primarily caused by increased difficulty in repository exploration and localization. These findings suggest that current coding agents may partially rely on memorized repository-side cues, highlighting the need for evaluation under dynamically instantiated repository representations.
• Abstract（参考訳）: リポジトリレベルのコーディングベンチマークは、コーディングエージェントを評価するための標準となっているが、トレーニングに繰り返し使用される人気のあるオープンソースリポジトリ上に構築されているため、本質的にはデータ漏洩に悩まされている。 その結果、強力なパフォーマンスは、堅牢なリポジトリ推論ではなく、標準リポジトリキューの記憶を反映する可能性がある。 動的にインスタンス化されたリポジトリ表現の下でコードエージェントをテストするための評価フレームワークであるSchrodingerRepo(Schrödinger's Repository)を提案する。 テストリポジトリの静的表現を何度も使用する代わりに、SchrodingerRepoは、テストリポジトリを評価時間潜在変数として扱い、エージェントが評価環境に入るときだけ動的にインスタンス化する。 インスタンス化されたリポジトリは、名前の命名規則、ファイルレイアウト、実装パターンを4つのトランスフォーメーションレベル(問題ステートメントの再構築、名前空間のリマッピング、ファイル内レイアウトのリオーダ、機能保存コードリライト)を通じて侵食しながら、元の実行可能な動作を保存する。 SWE-bench Verified および SWE-QA を用いた LLM の評価を行った。 結果として、よく知られたリポジトリのキューを削除することで、エージェントのパフォーマンスが一貫して低下し、モデル間のインタラクションコストが大幅に増加します。 さらに分析した結果、リポジトリの探索とローカライゼーションの難しさが主な原因であることが判明した。 これらの結果から,現在のコーディングエージェントは記憶されたリポジトリ側キューに部分的に依存している可能性が示唆され,動的にインスタンス化されたリポジトリ表現の下での評価の必要性が強調された。

関連論文リスト

• SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
  ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。 SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。 各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
  論文  参考訳（メタデータ） (2026-09-03T17:53:34Z)
• Adaptive Critical Token-Aware Retrieval for Repository-Level Code Generation [53.85136813868056]
  ACToRは、リポジトリレベルのコード生成のための適応型クリティカルトークン対応検索フレームワークである。 我々は、ACToRが、リポジトリレベルのベンチマークにおいて、最先端のメソッドを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-09-01T17:59:39Z)
• DeepRepro: State-Aware Subplanning for Paper-to-Code Reproduction in Evolving Repositories [116.27249583403871]
  本稿では,実行状態対応サブプランニングに基づく,紙からコードへの再生のための状態認識フレームワークを提案する。 DeepReproは、進化するリポジトリの状態とランタイムフィードバックを、きめ細かい実装サブプランに変換する。 PaperBench Code-Devの実験によると、DeepReproは強力な科学的および商業的なコードエージェントベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-08-27T02:54:30Z)
• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• RepoMirage: Probing Repository Context Reasoning in Code Agents with Perturbations [51.43574078961796]
  本稿では,SWE-Bench Verified上に構築された2段階評価スイートRepoMirageを紹介する。 RepoMirage-Perturbは、リポジトリレベルの摂動を保存する3つのタイプのセマンティクスを適用している。 RepoAnchorは、下流の問題解決からリポジトリの探索を分離する構造第一のプロトタイプワークフローである。
  論文  参考訳（メタデータ） (2026-05-25T06:26:43Z)
• RepoZero: Can LLMs Generate a Code Repository from Scratch? [13.87780777614509]
  RepoZeroは、完全に自動化された実行ベースのレポジトリレベルの生成をスクラッチから検証できる最初のベンチマークである。 我々の結果は、RepoZeroをエンドツーエンドのコード生成のための、困難でスケーラブルで信頼性の高いテストベッドとして確立しています。
  論文  参考訳（メタデータ） (2026-05-08T01:56:02Z)
• BUILD-AND-FIND: An Effort-Aware Protocol for Evaluating Agent-Managed Codebases [0.0]
  BUILD-AND-FINDは、下流エージェントが生成されたリポジトリから意図した選択を復元できるかどうかを評価するプロトコルである。 各タスクに対して、ビルダーは隠されたリポジトリの仕様を見て、仕様に書かれた複数選択の質問バンクを作成します。 このプロトコルは、行動の正しさをアーティファクト側のリカバリから切り離し、リカバリの正確性、再現性、実装のカバレッジ、検査の労力を報告します。
  論文  参考訳（メタデータ） (2026-05-07T12:35:27Z)
• Alibaba LingmaAgent: Improving Automated Issue Resolution via Comprehensive Repository Exploration [64.19431011897515]
  本稿では,問題解決のためにソフトウェアリポジトリ全体を包括的に理解し,活用するために設計された,新しいソフトウェアエンジニアリング手法であるAlibaba LingmaAgentを提案する。 提案手法では,重要なリポジトリ情報を知識グラフに凝縮し,複雑さを低減し,モンテカルロ木探索に基づく戦略を採用する。 Alibaba Cloudの製品展開と評価において、LingmaAgentは、開発エンジニアが直面した社内問題の16.9%を自動で解決し、手作業による介入で43.3%の問題を解決した。
  論文  参考訳（メタデータ） (2024-06-03T15:20:06Z)
• Class-Level Code Generation from Natural Language Using Iterative, Tool-Enhanced Reasoning over Repository [4.767858874370881]
  実世界のリポジトリ内でクラスレベルのコードを生成する際に,LLMを厳格に評価するためのベンチマークであるRepoClassBenchを紹介する。 RepoClassBenchには、リポジトリの選択からJava、Python、C#にまたがる"Natural Language to Class Generation"タスクが含まれている。 Retrieve-Repotools-Reflect (RRR)は,レポジトリレベルのコンテキストを反復的にナビゲートし,推論する静的解析ツールを備えた新しいアプローチである。
  論文  参考訳（メタデータ） (2024-04-22T03:52:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。