論文の概要: Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation

• arxiv url: http://arxiv.org/abs/2608.14711v1
• Date: Tue, 11 Aug 2026 16:01:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.044585
• Title: Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation
• Title（参考訳）: Pass@kを越える - エージェントコード生成の信頼性とセキュリティの測定
• Abstract要約: 我々は,n = 独立ロールアウトとc = 完全パスロールアウト(タスク,エージェント)ペアで適用したのと同じ推定器であるReliability@kを提案する。 機能的正当性がセキュリティの安全性を示唆しないという証拠によって、セキュリティ調整された信頼性も提案する。
• 参考スコア（独自算出の注目度）: 2.1734195143282693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI coding agent benchmarks rank agents with the Chen et al. (2021) pass@k estimator, but current implementations misapply it: they set n to the number of unit tests in a single submission rather than the number of independent rollout attempts, conflating test-suite size with attempt independence. We diagnose this operationalization error, prove it by counterexample, and propose reliability@k, the same estimator applied correctly, with n = independent rollouts and c = fully-passing rollouts per (task, agent) pair. In a synthetic multi-rollout benchmark, the misapplied metric inflates reported scores by 0.85-0.97 in absolute terms (0.96-0.98 reported vs. 0.00-0.12 corrected), and a cheap single-rollout proxy fails to substitute for repeated runs (Spearman $ρ= 0.417$). Motivated by evidence that functional correctness does not imply security safety, we additionally propose security-adjusted reliability@k, which counts only rollouts that are both functionally correct and free of high-severity insecure patterns. In an initial live-API test with three agents, the adjustment did not change any ranking under our current scanner and threshold, so we present it as a proposed complementary lens whose decisive evaluation requires better-powered future runs. Finally, a preliminary 5-task SWE-bench Verified pilot observes the same core concern in a real repository setting: macro-averaged hidden-test pass rate was 0.80 while strict task resolution was 0.20.
• Abstract（参考訳）: AIコーディングエージェントは、Chen et al (2021)pass@k estimatorでランクエージェントをベンチマークするが、現在の実装では、独立したロールアウト試行回数ではなく、単一のサブミッションでユニットテストの数にnを設定し、テストスーツサイズを独立を試みている。 この操作エラーを診断し、逆例で証明し、n = 独立したロールアウトとc = 完全にパスするロールアウト(タスク、エージェント)ペアで、同じ推定器を正しく適用した信頼性@kを提案する。 合成マルチロールアウトベンチマークでは、誤適用されたメートル法インフレは絶対値0.85-0.97のスコア(0.96-0.98と0.00-0.12の修正)を報告し、安価なシングルロールアウトプロキシは繰り返し実行に代わらない(Spearman $ρ= 0.417$)。 機能的正当性はセキュリティの安全性を示唆しないという証拠によって動機づけられた上で,機能的正当性と高重度安全パターンのないロールアウトのみをカウントするセキュリティ調整された信頼性@kを提案する。 3つのエージェントによる最初のライブAPIテストでは、調整は現在のスキャナーとしきい値のランクを変更しなかったので、より優れた将来の走行を必要とする決定的な評価を必要とする補完レンズとして提案する。 最後に、予備の5タスクSWE-bench検証パイロットは、実際のリポジトリ設定で同じ中核的な懸念を観測する: マクロ平均の隠れテストパスレートは0.80、厳密なタスク解決は0.20である。

関連論文リスト

• The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
  決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。 本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。 検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
  論文  参考訳（メタデータ） (2026-09-14T17:13:05Z)
• Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence [0.0]
  1つのモデルの2つの例は、2つのエージェントのハンドオフにおいて、ミッションの90.0%で共失敗する。 異なるモデルの置換は、6つのコントラストのうち6つのコントラストの関連を減少させる。
  論文  参考訳（メタデータ） (2026-08-13T07:25:05Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
  言語モデルは、進行中の計算の質を読み取ることができるか? 外部介入は、その読み出しをより良い結果に変えることができるか? 凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
  論文  参考訳（メタデータ） (2026-07-20T22:40:36Z)
• Where Does Agent Reliability Come From? A Cross-Benchmark Decomposition of Verification Loops, Specialist Models, and Scaffolding in a Production Enterprise Agent [0.0]
  アーキテクチャが検証ループをインストールする1つのプロダクションシステムについて検討する。 ループの端から端までを計測し、経験的検証器混同行列を生成する。
  論文  参考訳（メタデータ） (2026-07-19T03:20:33Z)
• PACE: Anytime-Valid Acceptance Tests for Self-Evolving Agents [0.0]
  自己進化型エージェントは、自身のプロンプト、スキル、オーモーフィケーションの変更を繰り返し提案することで改善する。 Qwen2.5 のエージェント (0.5B-3B) が GSM8K, SVAMP, ARC-Challenge のプロンプトレベルで自己進化する際、greedy は 30-42% の偽陽性と 10-33% の有害な編集をコミットする。 PACEは実際のものをコミットし、グリーディのホールトアウトの精度を著しく低いばらつきと約18%低い評価コストで一致させる。
  論文  参考訳（メタデータ） (2026-06-06T11:12:11Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• AgentAssay: Token-Efficient Regression Testing for Non-Deterministic AI Agent Workflows [0.0]
  AgentAssayは、非決定論的AIエージェントを回帰テストするための最初のトークン効率のよいフレームワークである。 厳密な統計保証を維持しながら78-100%のコスト削減を実現している。
  論文  参考訳（メタデータ） (2026-03-03T04:59:25Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。