論文の概要: Detecting Concept Drift in Neural Networks Using Chi-squared Goodness of Fit Testing
- arxiv url: http://arxiv.org/abs/2505.04318v1
- Date: Wed, 07 May 2025 11:04:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-08 19:07:36.047531
- Title: Detecting Concept Drift in Neural Networks Using Chi-squared Goodness of Fit Testing
- Title(参考訳): Chi-squared Goodness of Fit Testing を用いたニューラルネットワークの概念ドリフトの検出
- Authors: Jacob Glenn Ayers, Buvaneswari A. Ramanan, Manzoor A. Khan,
- Abstract要約: 概念ドリフト検出は、ニューラルネットワークの監視に未使用の統計シフトを特定するための分野である。
本稿では,多層パーセプトロン,畳み込みニューラルネットワーク,機械ビジョンのためのトランスフォーマーに適用したドリフト検出メタアルゴリズムとして,$chi2$ Goodness of Fit hypothesis Testを応用した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: As the adoption of deep learning models has grown beyond human capacity for verification, meta-algorithms are needed to ensure reliable model inference. Concept drift detection is a field dedicated to identifying statistical shifts that is underutilized in monitoring neural networks that may encounter inference data with distributional characteristics diverging from their training data. Given the wide variety of model architectures, applications, and datasets, it is important that concept drift detection algorithms are adaptable to different inference scenarios. In this paper, we introduce an application of the $\chi^2$ Goodness of Fit Hypothesis Test as a drift detection meta-algorithm applied to a multilayer perceptron, a convolutional neural network, and a transformer trained for machine vision as they are exposed to simulated drift during inference. To that end, we demonstrate how unexpected drops in accuracy due to concept drift can be detected without directly examining the inference outputs. Our approach enhances safety by ensuring models are continually evaluated for reliability across varying conditions.
- Abstract(参考訳): 深層学習モデルの採用が検証能力以上のものになっているため、信頼性の高いモデル推論を保証するにはメタアルゴリズムが必要である。
概念ドリフト検出は、トレーニングデータから発散する分布特性を持つ推論データに遭遇する可能性のある、ニューラルネットワークの監視に未使用の統計シフトを特定するための分野である。
多様なモデルアーキテクチャ、アプリケーション、データセットを考えると、ドリフト検出アルゴリズムは異なる推論シナリオに適応することが重要である。
本稿では,多層パーセプトロン,畳み込みニューラルネットワーク,および推論中の模擬ドリフトに曝露されたマシンビジョンのためのトランスフォーマーに適用したドリフト検出メタアルゴリズムとして,$\chi^2$ Goodness of Fit hypothesis Testを応用した。
そこで本研究では,予測出力を直接調べることなく,概念ドリフトによる予期せぬ精度低下を検出する方法を示す。
提案手法は、モデルが様々な条件で信頼性に対して継続的に評価されることによって安全性を高める。
関連論文リスト
- A Neighbor-Searching Discrepancy-based Drift Detection Scheme for Learning Evolving Data [40.00357483768265]
本研究では,Nighbor-Searching Discrepancyに基づく新しい概念ドリフト検出手法を提案する。
提案手法は,仮想ドリフトを無視しながら,実概念ドリフトを高精度に検出することができる。
また、ある階級の侵略や撤退を特定することで、分類境界の変化の方向を示すこともできる。
論文 参考訳(メタデータ) (2024-05-23T04:03:36Z) - Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳(メタデータ) (2023-12-28T18:33:26Z) - Interpretable Self-Aware Neural Networks for Robust Trajectory
Prediction [50.79827516897913]
本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。
実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-16T06:28:20Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。
入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。
UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-07-05T08:56:36Z) - Bayesian Imaging With Data-Driven Priors Encoded by Neural Networks:
Theory, Methods, and Algorithms [2.266704469122763]
本稿では,事前知識がトレーニングデータとして利用可能である逆問題に対して,ベイズ推定を行う新しい手法を提案する。
容易に検証可能な条件下で,関連する後方モーメントの存在と適切性を確立する。
モデル精度解析により、データ駆動モデルによって報告されるベイズ確率は、頻繁な定義の下で著しく正確であることが示された。
論文 参考訳(メタデータ) (2021-03-18T11:34:08Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳(メタデータ) (2021-02-22T07:02:37Z) - Ramifications of Approximate Posterior Inference for Bayesian Deep
Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
論文 参考訳(メタデータ) (2020-09-03T16:58:15Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳(メタデータ) (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。