論文の概要: ExecRetrieval: Measuring the Functional-Correctness Gap in Code-Embedding Retrieval
- arxiv url: http://arxiv.org/abs/2609.01865v1
- Date: Tue, 01 Sep 2026 20:55:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:17.986021
- Title: ExecRetrieval: Measuring the Functional-Correctness Gap in Code-Embedding Retrieval
- Title（参考訳）: ExecRetrieval: コード埋め込み検索における機能補正ギャップの測定
- Abstract要約: 埋め込みベースのコード検索は、コードエージェントと検索拡張コード生成のコアコンポーネントである。
既存のベンチマークは、各クエリの標準実装の、実行検証された単一編集の亜種を配置しない。
ExecRetrievalは、それぞれ939のPythonタスクで、1つの実行検証された標準実装と最大4つの実行検証されたバグギーなインタプリタをペアリングします。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embedding-based code retrieval is a core component of coding agents and retrieval-augmented code generation, where retrieving correct code matters more than retrieving lexically similar code. Existing code-retrieval benchmarks do not plant controlled, execution-verified single-edit variants of each query's canonical implementation in the search pool, leaving the question of whether embeddings can functionally discriminate correct from near-clone-but-incorrect code unanswered in a retrieval setting. Resolving this requires a benchmark whose search pool itself contains the relevant counterfactuals -- execution-verified buggy variants near-identical to each canonical -- so that a retriever's rank ordering can be directly tested for functional discrimination rather than topical or identity overlap. We introduce ExecRetrieval, 939 Python tasks each paired with one execution-verified canonical implementation and up to four execution-verified buggy distractors, each generated by a mechanical mutation making a single targeted edit, and evaluate 23 dense embedding configurations plus BM25 under provider-native invocation with paired McNemar tests and query-level bootstrap intervals. With near-clone counterfactuals in the pool, the top hosted system reaches exec@10 = 1.00 but only exec@1 = 0.331; rank-1 misses are paired buggy variants 91.5-99.4% of the time across the four leading systems, and the canonical scores below at least one of its four paired distractors in 67-78% of queries on the leading systems. The full dataset, execution oracle, embedding matrices, environment snapshot, and pairwise statistical tests are released at the URL in Appendix D.
- Abstract（参考訳）: 埋め込みベースのコード検索は、コードエージェントと検索拡張コード生成のコアコンポーネントであり、正しいコードを取得することは、語彙的に類似したコードを取得することよりも重要である。
既存のコード検索ベンチマークでは、検索プールにおける各クエリの標準実装の、実行検証された単一編集の亜種は、制御されていない。
これを解決するには、検索プール自体が関連するカウンターファクト(各カノニカルにほぼ同一視されている実行検証バグジーの亜種)を含むベンチマークが必要である。
ExecRetrieval, 939 Pythonタスクをそれぞれ1つの実行検証された標準実装と4つの実行検証バグジーインタプリタでペアリングし、それぞれ1つのターゲット編集を行う機械的突然変異によって生成し、McNemarテストとクエリレベルのブートストラップ間隔をペアリングしたプロバイダネイティブ呼び出しの下で、23の密埋め込み構成とBM25を評価する。
トップホストシステムはexec@10 = 1.00だがexec@1 = 0.331に到達し、ランク1ミスは4つの主要なシステム間での91.5-99.4%の時間と、リードシステム上で67-78%のクエリの少なくとも1つ以下の標準スコアである。
完全なデータセット、実行オラクル、埋め込み行列、環境スナップショット、ペアワイズ統計テストは、Appendix DのURLでリリースされている。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - CodeHID: Learning an Addressable Hierarchical Code Index for Generative Code Retrieval [16.418964135916433]
本稿では,コード検索タスクをフラットな候補マッチングから粗いセマンティックアドレス生成へと再構成する生成コード検索フレームワークであるCodeHIDを提案する。
CodeHIDは2つのコアコンポーネントに依存している。まず、Pseudo-Neighbor Guided DocID Learningは、多レベル残留量子化と$k$-nearest-neighbor pseudo-supervisionを適用することで、グローバルな静的階層インデックスを構築する。
第2に、Dual-Phase DocID Generation Guidanceは、トレーニング側ランキングの強化、ハードネガティブとランク蒸留、推論側候補制約、プレフィックス対応デコードを組み合わせて、この固定インデックスを確実にナビゲートする。
論文 参考訳（メタデータ） (2026-08-25T05:35:17Z) - The Order Is the Guarantee: Verifier-Budgeted Code Deletion with Static-First Learned Proposals [12.095189927690988]
本稿では,Al系が実行検証能力が有限である場合,コードを削除する方法の逆問題について検討する。
提案スケジューリングとして冗長コード削減を定式化する。
スケジューリングが検索を司る一方で、テストスイートのみが"保存行動"の意味を司ることを示す。
論文 参考訳（メタデータ） (2026-08-05T09:16:29Z) - TraceCoder: Explainable and Auditable Code Generation with Position-Key Snippet Versioning [0.0]
本稿では,3つの相補的なメカニズムによる欠点に対処するコード生成概念を提案する。
リレーショナルスニペット履歴スキーマレコード、修理イベント毎、ベンチマークリファレンス、ラウンド番号、障害テキスト、説明。
ブラウザベースの視覚化ツールは、この履歴をヒートマップされたホバリング注釈付きソースコードとして表現する。
論文 参考訳（メタデータ） (2026-07-28T22:03:52Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Closing the Indexing-Decoding Gap in Multimodal Generative Retrieval via Prefix Retention Optimization [68.48718919047127]
マルチモーダル生成検索式は、複数のモーダル検索を離散識別子生成として定義し、外部埋め込みよりも明示的な類似性探索を不要とする。
既存の手法では、残差量子化によって識別子を構築し、トリエ制約ビームサーチでデコードする。
この組み合わせは、インデックス化とデコーディングのギャップを導入している: 識別子学習の目的は、再構成や対照的な損失を含むが、デコーディング中にプレフィックスの識別性を明示的に強制しない。
1)プレフィックスの格付け蒸留は、リストワイドロスを用いた事前量子化埋め込みによって誘導されるプレフィックスと整合する; (ii)語彙スケジューリングは、コードブックを増大させる。
論文 参考訳（メタデータ） (2026-06-08T09:15:47Z) - From Attack Simulation to SIEM Rule: Deterministic Detection-as-Code Synthesis with Probe-Level Traceability [51.56484100374058]
セキュリティチームは、自身のシステムに対する攻撃をシミュレートして、監視が真の侵入者を捕まえるかどうかをチェックする。
人間はそのギャップを手でブリッジし、それぞれの発見を読み、対応するシグマルールを書きます。
ロックされたコーパスからプローブが引き出されると,この変換が部分的に自動化されることを示す。
論文 参考訳（メタデータ） (2026-06-03T14:26:25Z) - GrepSeek: Training Search Agents for Direct Corpus Interaction [66.69568141699311]
GrepSeekは、コンパクトな検索エージェントを訓練し、大きなテキストコーパスから証拠を見つけ、フィルタリングし、構成する、最適化された直接コーパスインタラクション(DCI)検索エージェントである。
DCIを大規模に実用化するためには、シェルコマンドのシーケンシャルな実行とバイトエクササイズ等価性を保ちながら、シェルベースの検索を最大7.6タイムで高速化するセマンティックス保存のシャード並列実行エンジンを使用する。
論文 参考訳（メタデータ） (2026-05-28T03:37:33Z) - SNARE: Adaptive Scenario Synthesis for Eliciting Overeager Behavior in Coding Agents [40.270213696031625]
符号化エージェントは、シェル、ファイル、ネットワークアクションのシーケンスとして良質なタスクを実行する。
プロンプトは敵ではなく、実行は成功しますが、スコープ外ステップでは認証情報をリークしたり、ファイルを削除することができます。
既存のベンチマークでは、タスク補完スイートは、完了した実行を承認し、jailbreakスイートは、逆のプロンプトをプローブし、以前のオーバーイーガーベンチマークは、各エージェントモデルペアに単一の固定プロンプトを適用する。
再利用可能なスコープから良性シナリオを構成するパイプラインであるSNAREを提案する。
論文 参考訳（メタデータ） (2026-05-27T08:14:07Z) - LeanSearch v2: Global Premise Retrieval for Lean 4 Theorem Proving [7.326381497366569]
リーン4の定理を証明するには、しばしば、簡潔な証明を可能にするライブラリの補題の散在を識別する必要がある。
本稿では,このタスクのための2モード検索システムであるLeanSearch v2を紹介する。
論文 参考訳（メタデータ） (2026-05-13T08:04:57Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。