論文の概要: The Effect of Missingness-Pattern Mismatch on Method Selection for Time-Series Classification: A Controlled Empirical Study
- arxiv url: http://arxiv.org/abs/2610.05368v1
- Date: Sun, 04 Oct 2026 16:50:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 14:19:29.452762
- Title: The Effect of Missingness-Pattern Mismatch on Method Selection for Time-Series Classification: A Controlled Empirical Study
- Title(参考訳): 欠失パターンミスマッチが時系列分類の方法選択に及ぼす影響:制御実験による検討
- Abstract要約: ミスマッチ検証は、選択した分類器のテストバランス精度を平均1.14ポイント削減した。
この損失は5%の不足で無視でき、30%で2.46ポイントまで増加した。
ブロックメイク配置の効果は小さく、重要ではなかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classifiers for time-series classification are commonly selected on validation data, but the temporal pattern of missing observations at deployment may differ from the pattern seen during validation. We examine whether such a mismatch affects validation-based classifier selection. In a controlled $2 \times 2$ design, validation and test sets of 64 univariate UCR datasets were masked with either random point missingness or circular block missingness at six rates from 5% to 30%, imputed by linear interpolation, and used to select among three prespecified candidates: 1NN-DTW, MiniRocket with a Ridge classifier, and a statistical-feature Random Forest. Training data remained complete, and selections made under matched and mismatched validation patterns were compared on the same masked test sets. Mismatched validation reduced the test balanced accuracy of the selected classifier by 1.14 percentage points on average (95% CI 0.79 to 1.51), with losses on 49 of the 64 datasets. The loss was negligible at 5% missingness and increased to 2.46 percentage points at 30%. It was concentrated in point-masked deployment (1.84 percentage points), where block-masked validation shifted selection away from the usually best candidate, while the effect for block-masked deployment was small and not significant. Mismatch changed the selected classifier in 35.5% of paired comparisons, but a changed selection did not always reduce performance. A supplementary analysis with non-wrapping linear blocks reproduced these findings with a larger effect (1.67 percentage points). Matching the missingness pattern of validation data to the expected deployment pattern is therefore a simple safeguard for method selection, particularly at higher missingness rates.
- Abstract(参考訳): 時系列分類のための分類器は、検証データ上で一般的に選択されるが、展開時の観察に欠ける時間パターンは、検証中に見られるパターンと異なる場合がある。
このようなミスマッチが検証に基づく分類器の選択に影響を及ぼすかどうかを検討する。
1NN-DTW, MiniRocket with a Ridge classifier, and a statistical-feature Random Forest の3つの候補の中から選択した。
トレーニングデータは引き続き完了し、同一のマスク付きテストセット上で、マッチした検証パターンとミスマッチした検証パターンによる選択を比較した。
ミスマッチによる検証により、選択された分類器のテストバランス精度は平均で1.14ポイント(95% CI 0.79から1.51)削減され、64データセットのうち49の損失が失われた。
この損失は5%の不足で無視でき、30%で2.46ポイントまで増加した。
ポイントマインドデプロイメント(1.84ポイント)に集中しており、ブロックマインドによる検証は最も適した候補から選択を逸脱し、ブロックマインドデプロイメントの効果は小さく、重要ではない。
Mismatchはペア比較の35.5%で選択した分類器を変更したが、変更された選択は必ずしも性能を低下させたわけではない。
非ラッピング線形ブロックによる補足的解析では, より大きな効果(1.67ポイント)で再現した。
したがって、バリデーションデータの欠落パターンを期待されたデプロイメントパターンにマッチさせることは、メソッドの選択、特に欠落率の高い場合の単純なセーフガードとなります。
関連論文リスト
- From Checkpoint Variation to Selection Gains in Supervised Fine-Tuning [19.531321651869565]
チェックポイントの選択は教師付き微調整において日常的な決定である。
我々は、追加の検証データの改善、負のログ類似度(NLL)選択の獲得、最終チェックポイントの獲得を計測する。
論文 参考訳(メタデータ) (2026-09-29T02:50:57Z) - ThinkNet: Compact Architecture Selection and Validation-Gated Ensembles for Subject-Independent MI-EEG Decoding [3.383341806828598]
ThinkNetは、コンパクトなMI-EEGモデルとポリシーのための検証制御フレームワークである。
デプロイ不能な分析では6.1ポイントの家族選択ギャップとほぼゼロの検証-テスト相関がみられた。
論文 参考訳(メタデータ) (2026-09-27T22:11:26Z) - Validation-Frontier Representation Selection under Constrained Observation [0.0]
本稿では,制約観測下での表現選択について検討する。
本稿では, バランスの取れた精度と, 機能コスト, 過度なギャップ, 検証テストの不安定性に対するペナルティを組み合わせた検証最前線セレクタを提案する。
論文 参考訳(メタデータ) (2026-08-15T07:40:39Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳(メタデータ) (2026-06-04T05:43:12Z) - Prototype-Based Test-Time Adaptation of Vision-Language Models [58.28899599773308]
PTA(Prototype-based Test-Time Adaptation)
PTAは一連のクラス固有の知識プロトタイプを使用して、テストサンプルから知識を蓄積する。
PTAは最先端の性能を達成しつつ、極めて高い効率を達成する。
論文 参考訳(メタデータ) (2026-04-23T07:20:56Z) - Concurrent Criterion Validation of a Validity Screen for LLM Confidence Signals via Selective Prediction [0.0]
妥当性画面は、LDM信頼信号をValid、Indeterminate、Invalidに分類する。
認知的軌跡の524項目において,7家系の20のフロンティアLSMを評価した。
Split-halfクロスバリデーションは、中央値d = 1.77, P(d > 0) = 1.0を1000個の分割で生成する。
論文 参考訳(メタデータ) (2026-04-20T01:56:29Z) - Don't stop me now: Rethinking Validation Criteria for Model Parameter Selection [3.219880761967806]
モデル選択に使用する検証基準がニューラル分類器の試験性能に与える影響について検討する。
検証精度に基づいた早期停止は最悪であり、テスト精度が低いチェックポイントを一貫して選択する。
損失ベースの検証基準は、同等で安定したテスト精度をもたらす。
論文 参考訳(メタデータ) (2026-02-25T16:56:14Z) - Confidence-Based Model Selection: When to Take Shortcuts for
Subpopulation Shifts [119.22672589020394]
モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。
我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
論文 参考訳(メタデータ) (2023-06-19T18:48:15Z) - Sample Selection with Uncertainty of Losses for Learning with Noisy
Labels [145.06552420999986]
ノイズの多いラベルで学習する際、サンプル選択アプローチは非常に人気があり、小さなロスデータをトレーニング中に正しくラベル付けされているとみなす。
しかし、ノイズラベルでトレーニングされたモデルに基づいて、損失をオンザフライで発生させるため、大容量のデータはおそらく正しくないが、確実に誤りではない。
本稿では,損失点推定の代わりに間隔推定を採用することにより,損失の不確実性を取り入れる。
論文 参考訳(メタデータ) (2021-06-01T12:53:53Z) - Minimax Active Learning [61.729667575374606]
アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。
現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。
我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-12-18T19:03:40Z) - Generalized Focal Loss: Learning Qualified and Distributed Bounding
Boxes for Dense Object Detection [85.53263670166304]
一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。
1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。
本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
論文 参考訳(メタデータ) (2020-06-08T07:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。