論文の概要: Compact Documentation for Coding Agents: A Benchmark, an Optimizer, and Why It Does Not Transfer

• arxiv url: http://arxiv.org/abs/2609.31587v1
• Date: Fri, 25 Sep 2026 17:42:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.526025
• Title: Compact Documentation for Coding Agents: A Benchmark, an Optimizer, and Why It Does Not Transfer
• Title（参考訳）: 符号化エージェントのためのコンパクトドキュメンテーション:ベンチマーク、オプティマイザ、そしてそれが転送しない理由
• Abstract要約: 自然言語ドキュメンテーションがソフトウェア問題の解決に役立っているか検討する。 コードから再生したコードが元のテストに合格するかどうかによって、コード記述をスコアするベンチマークを導入する。 ベンチマークを最適化信号として使用することにより,完全忠実度に達する記述書込みプロンプトを発見する。
• 参考スコア（独自算出の注目度）: 1.3669571918482655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate whether natural-language documentation helps coding agents resolve software issues, and we build the tools to construct and evaluate it. We introduce a roundtrip benchmark that scores code descriptions by whether code regenerated from them passes the original tests, and show that completeness, not length, drives a description's fidelity. Using the benchmark as an optimization signal, we discover a description-writing prompt that reaches full fidelity and generalizes to unseen files. We then test the hypothesis that motivated the work: that better documentation helps an agent resolve real repository issues. Across two model families and ten repositories, and against a positive control confirming that our evaluation can detect a genuine improvement, we find that it does not. When the source is present, neither static compact documentation nor retrieved context beats the issue alone. We report this negative result together with the benchmark and the optimizer, and we characterize the boundary at which documentation helps.
• Abstract（参考訳）: 自然言語ドキュメンテーションがソフトウェア問題の解決に役立っているか検討し,その構築と評価を行うツールを構築した。 コードから再生したコードが元のテストに合格するかどうかによってコード記述をスコアするラウンドトリップベンチマークを導入し、その完全性は長さではなく、記述の忠実さを駆動することを示す。 ベンチマークを最適化信号として用い,完全忠実度に到達し,未確認ファイルに一般化する記述書込みプロンプトを発見する。 そして、作業の動機となる仮説をテストします。より良いドキュメントは、エージェントが実際のリポジトリの問題を解決するのに役立つのです。 2つのモデルファミリと10のレポジトリにまたがって、評価が真の改善を検出できるという肯定的なコントロールに対して、そうでないことが分かりました。 ソースが存在する場合、静的なコンパクトなドキュメンテーションも、検索されたコンテキストも問題に勝てない。 ベンチマークとオプティマイザとともに、この否定的な結果を報告し、ドキュメンテーションが役立つ境界を特徴づける。

関連論文リスト

• Vero: Can AI Agents Build Formally Verified Software Repositories? [45.09790101960906]
  Veroはリポジトリレベルで共同実装と証明を評価する最初のベンチマークである。 Python、Dafny、Verus、Coqにまたがる実世界のリポジトリから43のマルチモジュールインスタンスが含まれている。 ベンチマークの信頼性を改善するため、Veroには、エージェントが提供された仕様の不満足さを正式に証明できる監査メカニズムも含まれている。
  論文  参考訳（メタデータ） (2026-08-13T17:41:27Z)
• Automating Formal Verification with Agent-Guided Tree Search [0.0]
  形式的検証は、ソフトウェアを確実に修正する道を提供するが、検証済みのコードを書くのに十分な費用がかかるため、本番ではほとんど使われない。 最近のベンチマークでは、仕様をコードに変換する能力と、マシンチェックによる正確さの反復を計測している。 この論文は、リーンにおけるLCM駆動による検証コード生成の状況を評価し、パフォーマンスを改善するための検索ベースの手法を開発する。
  論文  参考訳（メタデータ） (2026-05-26T14:50:47Z)
• DocSync: Agentic Documentation Maintenance via Critic-Guided Reflexion [0.0]
  DocSyncは、ドキュメントのメンテナンスを構造的に基盤付けられた反復的な生成タスクとしてフレーム化するエージェントワークフローである。 LoRA適応小言語モデルを用いたDocSyncの資源制約実装を実証的に評価する。 このAST対応エージェントアプローチが標準エンコーダ・デコーダのベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2026-05-04T02:41:33Z)
• Commit0: Library Generation from Scratch [77.38414688148006]
  Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。 エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。 Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
  論文  参考訳（メタデータ） (2024-12-02T18:11:30Z)
• Contextual Document Embeddings [77.22328616983417]
  本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。 第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。 第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
  論文  参考訳（メタデータ） (2024-10-03T14:33:34Z)
• RepoMasterEval: Evaluating Code Completion via Real-World Repositories [14.744942194298673]
  RepoMasterEvalは、現実世界のリポジトリから構築されたコード補完モデルを評価するための新しいベンチマークである。 各ベンチマークは、1つのソースコードファイルから既存のテストスイートでコードスニペットをマスキングすることで生成される。
  論文  参考訳（メタデータ） (2024-08-07T03:06:57Z)
• RepoCoder: Repository-Level Code Completion Through Iterative Retrieval and Generation [96.75695811963242]
  RepoCoderはリポジトリレベルのコード補完プロセスを合理化するフレームワークである。 類似性ベースのレトリバーと、事前訓練されたコード言語モデルが組み込まれている。 バニラ検索で拡張されたコード補完アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-03-22T13:54:46Z)
• Precise Zero-Shot Dense Retrieval without Relevance Labels [60.457378374671656]
  仮説文書埋め込み(英: hypothetical Document Embeddings, HyDE)は、ゼロショット高密度検索システムである。 我々は,HyDEが最先端の非教師付き高密度検索器であるContrieverを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-20T18:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。