論文の概要: AdaStop: Cost-Aware Early Stopping for DNN Test Selection
- arxiv url: http://arxiv.org/abs/2607.05461v1
- Date: Mon, 06 Jul 2026 01:17:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.268981
- Title: AdaStop: Cost-Aware Early Stopping for DNN Test Selection
- Title(参考訳): AdaStop:DNNテスト選択の早期停止に費用がかかる
- Abstract要約: ディープニューラルネットワーク(DNN)をテストするための既存の方法は、主に、固定されたラベル付け予算の下でモデル欠陥を明らかにする可能性のあるテスト入力を優先する。
テストの少なさは失敗を見逃し、過剰すぎると不要なラベリングコストが発生する。
入力をラベル付けするとコストが$c$になり、障害を発見すると$v$になる。
- 参考スコア(独自算出の注目度): 3.1316126410579304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing methods for testing deep neural networks (DNNs) primarily prioritize test inputs likely to reveal model faults under a fixed labeling budget. In practice, choosing that budget is difficult: too little testing misses failures, while too much incurs unnecessary labeling costs. This work studies the stopping problem in DNN testing. We formulate testing as a cost--benefit decision process in which labeling an input incurs cost $c$ and discovering a fault yields value $v$. Based on this formulation, we introduce \textit{AdaStop}, a framework that estimates the marginal fault discovery rate during testing and stops labeling when the estimated rate falls below the threshold $τ= c/v$. Experiments across multiple datasets, architectures, and selection strategies show that $65$--$84\%$ of faults can be discovered using only $9$--$31\%$ of the labeling budget.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)をテストするための既存の方法は、主に、固定されたラベル付け予算の下でモデル欠陥を明らかにする可能性のあるテスト入力を優先する。
テストの少なさは失敗を見逃し、過剰すぎると不要なラベリングコストが発生する。
本研究はDNN試験における停止問題について考察する。
この定式化に基づいて、テスト中に限界断層発見率を推定するフレームワークを導入し、複数のデータセット、アーキテクチャ、選択戦略にまたがる実験により、ラベル付け予算のわずか9ドル~31ドル(約9,300円)で、障害の6,5ドル~84ドル(約6,500円)で発見できることが示されている。
関連論文リスト
- Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳(メタデータ) (2026-08-06T19:49:48Z) - CodeContests-O: Powering LLMs via Feedback-Driven Iterative Test Case Generation [71.42965967582147]
既存のアプローチは、Large Language Models (LLM) を用いたテストケースの合成を試みる
包括的なテストケース構築のために、textbfFeedback-Bench Iterative Framework$を提案します。
私たちのデータセットは、平均的真正率(TPR)が89.37%、真負率(TNR)が90.89%で、CodeContestsとCodeContests+をそれぞれ4.32%、9.37%で大幅に上回っている。
論文 参考訳(メタデータ) (2026-01-20T07:32:44Z) - CarBoN: Calibrated Best-of-N Sampling Improves Test-time Reasoning [62.56541355300587]
本稿では,高逆推論経路に向けてモデルを適応的に修正する一般的なテスト時間校正フレームワークを提案する。
本フレームワークでは,まず解空間を探索し,次にロジットの校正を学習する二相法であるCarBoNを提案する。
MATH-500とAIME-2024の実験では、CarBoNは効率を向上し、同じ精度に達するために最大4倍のロールアウトが可能である。
論文 参考訳(メタデータ) (2025-10-17T14:04:37Z) - The Good, the Bad, and the Sampled: a No-Regret Approach to Safe Online Classification [25.36548531839979]
本研究は, リスクが未知のロジスティックモデルによって管理される2次性疾患の結果に対して, 個人を順次検査する問題について考察する。
我々のゴールは、必要となるコストのかかるテストの総数を最小限に抑えながら、誤分類のごく一部が予め特定されたエラー耐性を超えないことを保証することです。
これにより、エラー制約のあるロジスティックテストに対する最初のノンレグレット保証が確立され、コストセンシティブな医療スクリーニングに直接適用される。
論文 参考訳(メタデータ) (2025-10-01T15:28:00Z) - Online Learning of Optimal Sequential Testing Policies [7.8024154978341365]
被験者のストリームに対して最適なテストポリシーを求めるオンライン学習問題について検討する。
対象に対するすべての候補テストを実行することで、より多くの情報が得られるが、サブセットのみを選択することが望ましい場合が多い。
我々は、ミニマックスの後悔は少なくとも$Omega(Tfrac23)$としてスケールしなければならないことを証明し、エピソードMDPの$Theta(sqrtT)$レートとは対照的である。
論文 参考訳(メタデータ) (2025-09-03T20:44:32Z) - Exact Certification of (Graph) Neural Networks Against Label Poisoning [50.87615167799367]
グラフニューラルネットワーク(GNN)におけるラベルフリップの正確な認証手法を提案する。
本稿では,ノード分類タスクにおける広範囲なGNNアーキテクチャの認証に本手法を適用した。
私たちの研究は、ニューラルネットワークによって引き起こされた毒殺攻撃に対する最初の正確な認証を提示します。
論文 参考訳(メタデータ) (2024-11-30T17:05:12Z) - Testing the Feasibility of Linear Programs with Bandit Feedback [53.40256244941895]
我々は,低回帰アルゴリズムと反復対数の漸近法則に基づくテストを開発する。
このテストが信頼できることを証明し、信号レベルに適応する'$Gamma,$ of any instance。
信頼性テストのサンプルコストに対して、最小限の$(Omegad/Gamma2)$で補う。
論文 参考訳(メタデータ) (2024-06-21T20:56:35Z) - Collaborative non-parametric two-sample testing [55.98760097296213]
目標は、null仮説の$p_v = q_v$が拒否されるノードを特定することである。
グラフ構造を効率的に活用する非パラメトリックコラボレーティブ2サンプルテスト(CTST)フレームワークを提案する。
提案手法は,f-divergence Estimation, Kernel Methods, Multitask Learningなどの要素を統合する。
論文 参考訳(メタデータ) (2024-02-08T14:43:56Z) - Towards Optimal Statistical Watermarking [95.46650092476372]
仮説テスト問題として定式化して統計的透かしを研究する。
我々の定式化の鍵は、出力トークンと拒絶領域の結合である。
一般仮説テスト設定において,UMP(Uniformly Most Powerful)の透かしを特徴付ける。
論文 参考訳(メタデータ) (2023-12-13T06:57:00Z) - Bayesian Neural Networks: A Min-Max Game Framework [1.8032347672439046]
ディープラーニングでは、ベイジアンニューラルネットワーク(BNN)がロバストネス分析の役割を担っている。
ミニマックス法を用いて保守的BNNを研究し,決定論的ニューラルネットワークの$f$と閉ループニューラルネットワークの$f+rxi$の2プレーヤゲームを定式化する。
論文 参考訳(メタデータ) (2023-11-18T17:17:15Z) - Probabilistic Robustness Analysis for DNNs based on PAC Learning [14.558877524991752]
我々は、DNNを入力から出力までの関数 $boldsymbolf$ とみなし、与えられた入力に対する局所ロバスト性を考慮する。
目標ラベル $ell$ と攻撃ラベル $i$ に関してスコア差関数 $f_i-f_ell$ を学習する。
我々のフレームワークは、6.5ドルのニューロンを持つResNet152のような非常に大きなニューラルネットワークを処理でき、しばしば敵の例を生成する。
論文 参考訳(メタデータ) (2021-01-25T14:10:52Z) - Computing the Testing Error without a Testing Set [33.068870286618655]
テストデータセットを必要としないトレーニングとテストの間のパフォーマンスギャップを推定するアルゴリズムを導出します。
これによって、アクセスできないサンプルでも、DNNのテストエラーを計算できます。
論文 参考訳(メタデータ) (2020-05-01T15:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。