論文の概要: Code-QA-Bench: Separating Code Reasoning from Documentation Memorization in Repository-Level QA
- arxiv url: http://arxiv.org/abs/2605.29277v1
- Date: Thu, 28 May 2026 02:52:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:55.602454
- Title: Code-QA-Bench: Separating Code Reasoning from Documentation Memorization in Repository-Level QA
- Title（参考訳）: Code-QA-Bench: リポジトリレベルのQAにおけるドキュメンテーション記憶からの分離
- Authors: Jun Zhang, JianYing Qu, Hanwen Du, Zhongkai Sun, Yehua Yang, Qiao Zhao,
- Abstract要約: Code-QA-Benchはリポジトリレベルのコード理解ベンチマークを合成するためのフレームワークである。
10のPythonリポジトリで528のコードデリバティブと100のドキュメント依存タスクを生成します。
フレームワークはオープンソースで、ドキュメント化されたPythonリポジトリに適用できる。
- 参考スコア（独自算出の注目度）: 7.478327602641997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Code-QA-Bench, a fully automated framework for synthesizing repository-level code understanding benchmarks that separates genuine code comprehension from documentation recall and pretraining memorization. The framework makes two methodological contributions: (1) an answer-first generation pipeline where a tool-equipped agent explores source code to produce verified gold answers before deriving questions, ensuring every task is grounded in real code structure; and (2) a three-condition experimental design evaluating agents under closed-book (no repository), code-only (documentation removed), and documented (full repository) conditions, with deltas directly quantifying documentation utility and memorization. We generate 528 code-derivable and 100 doc-dependent tasks across 10 Python repositories from SWE-Bench, scored by an LLM judge on accuracy, completeness, and specificity. Experiments on four frontier models reveal that code access is the dominant factor (+0.23 mean gain over closed-book), documentation provides modest additional benefit (+0.071 on doc-dependent tasks), and code-only $\approx$ documented on code-derivable tasks, validating the design. The framework is open-source and applicable to any well-documented Python repository.
- Abstract（参考訳）: Code-QA-Benchは、リポジトリレベルのコード理解ベンチマークを合成する、完全に自動化されたフレームワークである。
本フレームワークは,(1)ツールを組み込んだエージェントが質問を導き出す前に,検証済みゴールドの回答を生成するためのソースコードを探索し,すべてのタスクが実際のコード構造に根ざされていることを保証する,(2)クローズドブック(リポジトリなし),コード専用(ドキュメント削除),文書化(フルリポジトリ)条件下での3条件の実験的評価を行う,という2つの方法論的貢献を行う。
我々は、SWE-BenchからSWE-Benchから、SWE-Benchから528のコードデリバティブと100のドキュメント依存タスクを生成します。
4つのフロンティアモデルの実験では、コードアクセスが支配的な要因である(+0.23はクローズドブックよりも得ている)こと、ドキュメントは質素な追加の利点(doc依存タスクでは+0.071)、コードのみの$\approx$はコードデリバティブなタスクでドキュメント化され、設計を検証している。
フレームワークはオープンソースで、ドキュメント化されたPythonリポジトリに適用できる。
関連論文リスト
- Evaluating Repository-level Software Documentation via Question Answering and Feature-Driven Development [11.174059895410357]
SWD-Benchは、リポジトリレベルのソフトウェアドキュメンテーションを評価するための新しいベンチマークである。
ドキュメント駆動開発に触発された私たちの戦略は、LLMの機能を理解し実装する能力を評価することで、ドキュメントの品質を評価します。
高品質なプルリクエストをマイニングし、リポジトリレベルのコンテキストでそれらを強化することで、4,170のエントリを含むベンチマークを構築します。
論文 参考訳（メタデータ） (2026-04-08T07:58:18Z) - Gistify! Codebase-Level Understanding via Runtime Execution [97.63528391679807]
Gistifyは、コーディング LLM が特定の機能を再現できる単一で最小限の自己完結型ファイルを作成する必要があるタスクである。
現在の最先端モデルは、Gistifyタスク、特に長時間実行のあるタスクを確実に解くのに苦労している。
論文 参考訳（メタデータ） (2025-10-30T17:58:26Z) - SolBench: A Dataset and Benchmark for Evaluating Functional Correctness in Solidity Code Completion and Repair [51.0686873716938]
コード補完モデルによって生成されたSolidityスマートコントラクトの機能的正しさを評価するベンチマークであるSolBenchを紹介する。
本稿では,スマートコントラクトの機能的正当性を検証するための検索拡張コード修復フレームワークを提案する。
その結果、コード修復と検索技術は、計算コストを削減しつつ、スマートコントラクト完了の正しさを効果的に向上することを示した。
論文 参考訳（メタデータ） (2025-03-03T01:55:20Z) - Repository-level Code Search with Neural Retrieval Methods [25.222964965449286]
我々は、リポジトリレベルのコード検索のタスクを、ユーザの質問やバグに対処するのに最も関係のある、コードリポジトリの現在の状態からファイルの集合を検索するものとして定義する。
提案手法は,コミットメッセージに対するBM25ベースの検索と,CodeBERTを用いて関連するファイルを識別するニューラルリランクを組み合わせたものである。
7つの人気のあるオープンソースリポジトリから生成された新しいデータセットの実験では、MAP、MRR、P@1がBM25ベースラインに対して最大80%改善されている。
論文 参考訳（メタデータ） (2025-02-10T21:59:01Z) - RepoCoder: Repository-Level Code Completion Through Iterative Retrieval
and Generation [96.75695811963242]
RepoCoderはリポジトリレベルのコード補完プロセスを合理化するフレームワークである。
類似性ベースのレトリバーと、事前訓練されたコード言語モデルが組み込まれている。
バニラ検索で拡張されたコード補完アプローチよりも一貫して優れています。
論文 参考訳（メタデータ） (2023-03-22T13:54:46Z) - Generation-Augmented Query Expansion For Code Retrieval [51.20943646688115]
本稿では,次世代のクエリ拡張フレームワークを提案する。
人間の検索プロセスにインスパイアされた – 検索前に回答をスケッチする。
CodeSearchNetベンチマークで、最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2022-12-20T23:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。