論文の概要: DepthBenchCAD: When Does Deeper Auditing Yield More Reliable Conclusions?

• arxiv url: http://arxiv.org/abs/2609.15122v1
• Date: Mon, 14 Sep 2026 06:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.12288
• Title: DepthBenchCAD: When Does Deeper Auditing Yield More Reliable Conclusions?
• Title（参考訳）: DepthBenchCAD: より深い監査は、より信頼性の高い結論を得られるか?
• Abstract要約: 固定予算の下では、各プログラムの監査により、評価可能なタスクの数と独立した世代が大幅に削減される。 行動評価を3つのエビデンスレベル(タスクテンプレート,世代,プログラム内編集)に分解する。 これらの結果から,プログラム検査の徹底性はモデル評価の信頼性から逸脱する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 1.8374319565577155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative CAD models are expected to remain behaviorally correct after parameter edits, so increasing the number of edit checks is often treated as a direct route to more reliable evaluation. Under a fixed budget, however, auditing each program more thoroughly reduces the number of tasks and independent generations that can be evaluated, which can ultimately make model-level estimates less accurate. We study this phenomenon and the conditions under which it arises. We decompose behavioral evaluation into three evidence levels: task templates, stochastic generations, and within-program edits. We define an average failure risk that is invariant to audit depth, and combine three-level variance with measured execution costs to analyze the tradeoff between deeper edit auditing and broader independent coverage. Experiments across two CAD environments and five generation systems show that the value of deeper auditing depends on where evaluation uncertainty originates. When template heterogeneity or generation stochasticity dominates, additional edit checks can increase total estimation error; when within-program state variation is large and generation is expensive, deeper auditing is more valuable. Variance and cost estimates from calibration predict the direction of this change and provide a diagnostic basis for allocating evidence on held-out tasks. These results show that the thoroughness of program inspection can diverge from the reliability of model evaluation, and they help determine whether the next unit of budget should be spent on a new task, a new generation, or additional edit checks.
• Abstract（参考訳）: 生成CADモデルはパラメータ編集後に行動学的に正しいままであり続けることが期待されているため、より信頼性の高い評価への直接的なルートとして、編集チェックの増加が扱われることが多い。 しかし、固定予算の下では、各プログラムの監査により、評価可能なタスクの数や独立した世代が大幅に削減され、最終的にモデルレベルの見積もりがより正確になる可能性がある。 この現象とそれが起こる条件について研究する。 行動評価を3つのエビデンスレベル(タスクテンプレート,確率的世代,プログラム内編集)に分解する。 評価深度に不変な平均失敗リスクを定義し,3段階の分散と測定実行コストを組み合わせて,より深い編集監査とより広範な独立したカバレッジのトレードオフを分析する。 2つのCAD環境と5世代システムの実験により、より深い監査の価値は、評価の不確実性がどこから生じるかに依存することが示された。 テンプレートの不均一性や生成確率が支配される場合、追加の編集チェックは総推定誤差を増加させる。 キャリブレーションによる変数とコストの見積もりは、この変化の方向を予測し、保持されたタスクに関する証拠を割り当てるための診断基盤を提供する。 これらの結果から,プログラム検査の徹底性はモデル評価の信頼性から逸脱し,新たなタスクや新しい世代,追加の編集チェックに次単位の予算を費やすべきかを判断する上で有効であることが示唆された。

関連論文リスト

• AI Evaluation Should Measure Verification Cost, Not Correctness Alone [1.3124513975412253]
  私たちは、現在の評価指標が重大な障害モードを見落としていると論じています。 VCEは、出力自体のいかなる特性よりも、予算内での正確な識別の失敗によって、運用的に定義される。
  論文  参考訳（メタデータ） (2026-08-09T13:44:26Z)
• Innovation-Residual Auditing of Autonomous Analysis Agents: Localization, Detection Limits, Error Control, and Identifiability [11.987280372027032]
  本論文は,誤差が全く局所化可能であるか否かを判定するスコアの選択を提供する。 次に、単一の監査された分析において、誤ったフラグ付けされた操作の割合を制御する手順を提示する。
  論文  参考訳（メタデータ） (2026-08-06T00:42:43Z)
• Bayesian control for coding agents [63.64172141184361]
  本稿では,コーディングエージェントのためのコスト依存型シーケンシャル仮説テストフレームワークを提案する。 ベイズ管制官は、正確性に対する信念を維持し、より多くの証拠を集め、候補者を精査し、検証し、停止するかを決定する。 本研究では, 信頼状態が, 不確実性定量化のためのトークン確率と生ツール・サクセスベースラインを上回り, 解釈可能な正当性スコアを得ることを示す。
  論文  参考訳（メタデータ） (2026-06-23T11:41:32Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• Fault-Tolerant Evaluation for Sample-Efficient Model Performance Estimators [13.227055178509524]
  本稿では, バイアスと分散を考慮した耐障害性評価フレームワークを提案する。 我々は、$varepsilon$の適切なキャリブレーションにより、異なる分散状態の信頼性が保証されることを示す。 実世界のデータセットの実験は、我々のフレームワークが推定器の振る舞いに関する包括的で実行可能な洞察を提供することを示した。
  論文  参考訳（メタデータ） (2026-02-06T22:14:46Z)
• PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review [54.141490756509306]
  本稿では、エラーデータセットであるPaperAudit-Datasetと、自動レビューフレームワークであるPaperAudit-Reviewの2つのコンポーネントからなるPaperAudit-Benchを紹介する。 PaperAudit-Benchの実験では、モデルと検出深さの誤差検出可能性に大きなばらつきが示された。 本研究では,SFTおよびRLによる軽量LLM検出器のトレーニングをサポートし,計算コストの削減による効率的な誤り検出を実現する。
  論文  参考訳（メタデータ） (2026-01-07T04:26:12Z)
• A Review of Uncertainty Calibration in Pretrained Object Detectors [5.440028715314566]
  多クラス設定における事前訓練対象検出アーキテクチャの不確実性校正特性について検討する。 公平でバイアスのない,繰り返し可能な評価を実現するためのフレームワークを提案する。 検出器のキャリブレーションが低い理由について、新しい知見を提供する。
  論文  参考訳（メタデータ） (2022-10-06T14:06:36Z)
• Uncertainty-Driven Action Quality Assessment [11.958132175629368]
  本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。 我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。 提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
  論文  参考訳（メタデータ） (2022-07-29T07:21:15Z)
• Optimal Change-Point Detection with Training Sequences in the Large and Moderate Deviations Regimes [72.68201611113673]
  本稿では,情報理論の観点から,新しいオフライン変化点検出問題について検討する。 基礎となる事前および変更後分布の知識は分かっておらず、利用可能なトレーニングシーケンスからのみ学習できると仮定する。
  論文  参考訳（メタデータ） (2020-03-13T23:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。