論文の概要: When 10,000 Windows Are Not 10,000 Tests: Auditing Statistical Confidence in Sliding-Window Time-Series Classification
- arxiv url: http://arxiv.org/abs/2609.30721v1
- Date: Fri, 25 Sep 2026 02:49:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.192756
- Title: When 10,000 Windows Are Not 10,000 Tests: Auditing Statistical Confidence in Sliding-Window Time-Series Classification
- Title（参考訳）: Windowsが1万回もテストされないとき:スライディング・ウィンドウの時系列分類における統計的信頼
- Abstract要約: 本報告では,観察記録,観察対象の今後の記録,観察対象の未確認記録にパフォーマンスをマッピングする実践的な監査を行う。
75%のオーバーラップで、制御されたシミュレーションは16.9%のType-Iエラーを与える。
凍結WISDMとHARTH予測の監査では、テスト行の4倍近い成長は1.75-1.94倍の分散等価情報の成長しか得られない。
- 参考スコア（独自算出の注目度）: 6.218265303797788
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sliding-window classifiers are often evaluated on thousands of overlapping test windows, even though neighboring predictions share observations and remain nested within recordings and subjects. Subject-disjoint evaluation prevents one form of leakage but does not make those test windows independent. We present a practical audit that maps three claims - performance on observed recordings, future recordings from observed subjects, and unseen subjects - to explicit aggregation rules and established dependence-robust inference. At 75% overlap, controlled simulations give 16.9% Type-I error for IID observed-record inference and 7.2% for session-centered Bartlett-HAC: a substantial improvement with residual miscalibration. Audits of frozen WISDM and HARTH predictions show that nearly fourfold growth in test rows yields only 1.75-1.94-fold variance-equivalent information growth. At that overlap, fixed-record paired Accuracy-difference intervals are 1.22-1.66 times the IID widths; this inflation is not universal at zero overlap. On HARTH, paired Accuracy-difference intervals include zero across three overlap settings, whereas Macro-F1 favors MiniROCKET. Independent recomputation, common-session checks, class-level results, and separately seeded calibration make the audit's scope and limitations inspectable. The resulting workflow distinguishes additional predictions from additional independent evidence.
- Abstract（参考訳）: スライディング・ウインドウ分類器は、近隣の予測では観測結果を共有し、記録や被写体にネストされているにもかかわらず、何千もの重なり合うテストウィンドウでしばしば評価される。
主観的不整合評価は1種類の漏洩を防ぐが、これらのテストウィンドウを独立にしない。
本報告では,観察記録における3つの主張,観察対象からの今後の記録,未確認対象の3つの主張を明示的な集約規則にマッピングし,従属確率推定を確立した。
75%のオーバーラップで、制御されたシミュレーションは16.9%のIID観測値の誤差とセッション中心のBartlett-HACの7.2%を与える。
凍結WISDMとHARTH予測の監査では、テスト行の4倍近い成長は1.75-1.94倍の分散等価情報の成長しか得られない。
この重なり合いにおいて、固定レコード対の精度差間隔はIDI幅の1.22-1.66倍であり、このインフレーションはゼロ重なり合いでは普遍的ではない。
HARTHでは、ペアの精度差間隔は3つの重なり合う設定でゼロとなるが、マクロF1はミニROCKETを好む。
独立した再計算、共通セッションチェック、クラスレベルの結果、別々にシード化されたキャリブレーションは監査の範囲と制限を検査可能にする。
結果として得られるワークフローは、追加の独立した証拠から追加の予測を区別する。
関連論文リスト
- TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction [48.104261148149654]
TimeLitmusは、イベント条件付き時系列予測における相互理解と忠実さの説明のための診断ベンチマークである。
TimeLitmusには財務と交通の計4,856件の評価記録がある。
論文 参考訳（メタデータ） (2026-09-21T14:38:49Z) - Beyond Average Error through Oracle-Informed Stress Tests for Time-Series Forecasting [34.76483563088126]
平均二乗誤差は、予測性能が低下するのは、未来が予測不可能になるためなのか、あるいは、予測が条件平均から遠く離れているためなのかを明らかにすることができない。
本研究では,各リード時間における2乗誤差の変化を環境リスクと予測軌道距離に分解する機構制御型ストレステストを導入する。
論文 参考訳（メタデータ） (2026-09-19T06:42:49Z) - The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。
本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。
検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
論文 参考訳（メタデータ） (2026-09-14T17:13:05Z) - Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation [40.2978746802106]
LLM審査員は、きめ細かいルックスチェックリストに対する反応をますます評価している。
現在のメソッドは通常、それぞれを別々の推論コールで評価する。
その結果,どのルーリックが同一であるかによって,1つのルーリックシフトの判定が行われることがわかった。
我々は、4つの制御された操作を通して干渉を探索する測定フレームワークを開発した。
論文 参考訳（メタデータ） (2026-08-05T03:35:29Z) - Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。
粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。
ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
論文 参考訳（メタデータ） (2026-08-04T23:48:36Z) - Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion [46.262619407930266]
我々は、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器をトレーニングする。
その結果得られたモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、おおよそdoubles recall@5である。
次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-07-28T10:59:04Z) - CUSUM-Shaped Inference-Time Monitoring and Targeted Re-Decoding for Quantized Small Language Model Reasoning [0.6999740786886536]
MGT-Bは、事前サンプリングの不確かさと変性の特徴の重なり合う窓を、位置条件による経験的尾の確率にマップする。
ログしきい値h=10のマニュアル選択後に最初に観察された問題同一性に対して,その効果が持続するかどうかを検証した。
どちらの分析も確証がなく、実証的要因は有効な電子プロセスや電子検出器として確立されていない。
論文 参考訳（メタデータ） (2026-07-22T13:34:17Z) - How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。
実際には、これは相関した推論パターンと同期された障害として現れます。
ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
論文 参考訳（メタデータ） (2026-04-08T23:32:06Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳（メタデータ） (2026-01-19T23:37:10Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z) - TRUST-LAPSE: An Explainable and Actionable Mistrust Scoring Framework
for Model Monitoring [4.262769931159288]
連続モデル監視のための"ミストラスト"スコアリングフレームワークであるTRUST-LAPSEを提案する。
我々は,各入力サンプルのモデル予測の信頼性を,潜時空間埋め込みのシーケンスを用いて評価する。
AUROCs 84.1 (vision), 73.9 (audio), 77.1 (clinical EEGs)
論文 参考訳（メタデータ） (2022-07-22T18:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。