論文の概要: Groundability, Not Scale Alone: When Weak Reviewers Can Audit Strong Coding Agents

• arxiv url: http://arxiv.org/abs/2610.01023v1
• Date: Thu, 01 Oct 2026 04:10:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.889988
• Title: Groundability, Not Scale Alone: When Weak Reviewers Can Audit Strong Coding Agents
• Title（参考訳）: ハッカーが強力なコーディングエージェントを聴くことができる時
• Abstract要約: コーディングエージェントは必要な振る舞いを省略する可塑性パッチを返すことができる。 3つのエージェントと101の制御されたケースからの411個の実行ラベル付きトレースについて検討した。 公式な実行証拠は、決定的なチェックが利用可能になったときの弱いレビューの可能性を示している。
• 参考スコア（独自算出の注目度）: 20.695725508890806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coding agents can return plausible patches that omit required behavior. These failures are hard to review because long traces and confident summaries often hide what was missed. We ask when a nominally weaker reviewer can reliably decide whether a patch solves its issue. We study 411 execution-labeled traces from three agents and 101 controlled cases. On 154 GPT-5.4 traces, structured but unchecked evidence raises both defect catch and over-rejection. We then provide official execution evidence as an upper-bound diagnostic. After choosing and freezing one of two formats per reviewer, five of six reviewers improve both rates on 122 held-out traces; two classify every trace correctly. Reviewer size is not a consistent predictor of quality. Because official tests are unavailable in deployment, we also evaluate a frozen cascade with patch-caused static errors and generated tests that first fail on the unpatched repository. On 121 scored held-out GPT-5.4 traces and 59 Gemini traces, its coverage is 0.89 and 0.86, risk is 0.33 and 0.26, catch is 0.76 and 0.80, and over-rejection is 0.66 and 0.67. Most false rejections occur when unresolved cases reach the reviewer. Official execution evidence shows the potential of weak review when decisive checks are available. Producing equally reliable checks without official tests remains the main bottleneck.
• Abstract（参考訳）: コーディングエージェントは必要な振る舞いを省略する可塑性パッチを返すことができる。 長いトレースと自信のある要約が、見逃されたことを隠していることが多いため、これらの失敗をレビューするのは困難です。 我々は、名目上より弱いレビュアーが、パッチがその問題を確実に解決できるかどうかを問う。 3つのエージェントと101の制御されたケースからの411個の実行ラベル付きトレースについて検討した。 154 GPT-5.4 の痕跡は構造化されているが、未確認の証拠は欠陥キャッチと過剰拒絶の両方を引き起こす。 次に,上行診断として公式な執行証拠を提供する。 レビュアー1人あたりの2つのフォーマットのうちの1つを選択し凍結した後、6人のレビュアーのうち5人は122のホールトアウトトレースで両方のレートを改善した。 レビューアのサイズは、一貫性のある品質予測器ではありません。 公式なテストはデプロイでは利用できないので、パッチによる静的エラーと、パッチされていないリポジトリで最初にフェールする生成されたテストを伴う、凍結したカスケードも評価します。 121点のGPT-5.4トレースと59点のGeminiトレースでは、カバーは0.89と0.86、リスクは0.33と0.26、キャッチは0.76と0.80、オーバーリジェクションは0.66と0.67である。 ほとんどの偽りの拒絶は、未解決の事件がレビュアーに届くと発生する。 公式な実行証拠は、決定的なチェックが利用可能になったときの弱いレビューの可能性を示している。 公式テストなしで、同じように信頼性の高いチェックを生成することが、依然として主要なボトルネックです。

関連論文リスト

• Hard-Gate Candidacy in a Deployed Validator Suite [10.012788934490084]
  バリケータがデプロイメントパイプラインのハードゲートに昇格する前には、その発射によって、ユーザの作業順序に到達した出力と、そうでない出力が分離されることを示す必要があります。 その画面は、デプロイされた生成エージェントで13のバリデータに表示され、550のランタイムと350の静的ビルドがダウンストリームの結果によってラベル付けされている。 我々は,各チェックの辺縁分離$J=mathrmTPR-mathrmFPR$をNewcombe間隔で報告し,Fisherの正確な検査を行った。
  論文  参考訳（メタデータ） (2026-09-30T05:41:38Z)
• The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
  本研究は, ベットによる検査に基づく漏洩検出について検討する。 13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
  論文  参考訳（メタデータ） (2026-09-27T14:14:10Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
  LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
  論文  参考訳（メタデータ） (2026-09-02T10:30:05Z)
• The Answer Is Not the Argument [0.00897008283486962]
  チェーンオブ思考監視はAI監視のために提案されているが、評価は、しばしば信頼できる参照回答を提供する。 回答アクセスが推論検証を改善するのか、それとも主に誤った結論を公開するのかを問う。
  論文  参考訳（メタデータ） (2026-08-31T19:06:44Z)
• Two Regimes of Chain-of-Thought Unfaithfulness: Behavioral Detection Fails Where Models Are Wrong [1.2744523252873352]
  ブラックボックス(行動)によるFaithCoT-Benchの人間のアノテーションに対する不誠実なCoTの検出。 答えの正しさはあらゆるレベルで問題を構成する。
  論文  参考訳（メタデータ） (2026-07-26T04:43:53Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Evaluating Tool-Using Language Agents: Judge Reliability, Propagation Cascades, and Runtime Mitigation in AgentProp-Bench [0.0]
  AgentProp-Benchは4つのドメインに2300のトレースを持つ2,000タスクのベンチマークである。 我々は、判断信頼性を定量化し、エラーの伝播を特徴づけ、実行時の緩和を評価する。 すべてのコード、データ、トレース、および人間のラベルはhttps://github.com/bhaskargurram-ai/agenthallu-bench.orgで公開されている。
  論文  参考訳（メタデータ） (2026-04-17T21:15:35Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
  SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。 ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。 安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
  論文  参考訳（メタデータ） (2026-01-19T23:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。