論文の概要: Exploring Bayesian Surprise to Prevent Overfitting and to Predict Model Performance in Non-Intrusive Load Monitoring

• arxiv url: http://arxiv.org/abs/2009.07756v1
• Date: Wed, 16 Sep 2020 15:39:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 00:41:45.858245
• Title: Exploring Bayesian Surprise to Prevent Overfitting and to Predict Model Performance in Non-Intrusive Load Monitoring
• Title（参考訳）: 非侵入負荷モニタリングにおけるオーバーフィッティング防止とモデル性能予測のためのベイジアンサプライズ探索
• Authors: Richard Jones, Christoph Klemenjak, Stephen Makonin, Ivan V. Bajic
• Abstract要約: 非侵入負荷モニタリング(Non-Intrusive Load Monitoring, NILM)は、集積信号のみに基づくシステムにおける構成的電気負荷の分離に焦点を当てた研究分野である。 予測分布(予測的サプライズ)と遷移確率(遷移的サプライズ)の間のサプライズ度を定量化する。 この研究は、データセットサイズに関するモデルパフォーマンスのリターンを減少させるポイントが存在するという明確な証拠を提供する。
• 参考スコア（独自算出の注目度）: 25.32973996508579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-Intrusive Load Monitoring (NILM) is a field of research focused on segregating constituent electrical loads in a system based only on their aggregated signal. Significant computational resources and research time are spent training models, often using as much data as possible, perhaps driven by the preconception that more data equates to more accurate models and better performing algorithms. When has enough prior training been done? When has a NILM algorithm encountered new, unseen data? This work applies the notion of Bayesian surprise to answer these questions which are important for both supervised and unsupervised algorithms. We quantify the degree of surprise between the predictive distribution (termed postdictive surprise), as well as the transitional probabilities (termed transitional surprise), before and after a window of observations. We compare the performance of several benchmark NILM algorithms supported by NILMTK, in order to establish a useful threshold on the two combined measures of surprise. We validate the use of transitional surprise by exploring the performance of a popular Hidden Markov Model as a function of surprise threshold. Finally, we explore the use of a surprise threshold as a regularization technique to avoid overfitting in cross-dataset performance. Although the generality of the specific surprise threshold discussed herein may be suspect without further testing, this work provides clear evidence that a point of diminishing returns of model performance with respect to dataset size exists. This has implications for future model development, dataset acquisition, as well as aiding in model flexibility during deployment.
• Abstract（参考訳）: 非侵入負荷モニタリング(non-intrusive load monitoring, nilm)は、信号の集約のみに基づいてシステムを構成する電気負荷を分離する研究分野である。 重要な計算資源と研究時間は、モデルのトレーニングに費やされ、多くの場合、できるだけ多くのデータを使用します。 十分な事前トレーニングはいつ行われますか? NILMアルゴリズムは新しい未知のデータにいつ遭遇したか? この研究は、教師付きアルゴリズムと教師なしアルゴリズムの両方にとって重要であるこれらの疑問に答えるためにベイズ予想の概念を適用している。 予測分布(予測的サプライズ)と、観測窓の前後の遷移確率(遷移的サプライズ)の間のサプライズ度を定量化する。 NILMTK がサポートしているベンチマーク NILM アルゴリズムの性能を比較し,この2つの組み合わせによるサプライズ対策の有効なしきい値を確立する。 我々は,人気のある隠れマルコフモデルの性能をサプライズしきい値の関数として探索することにより,過渡的サプライズの利用を検証する。 最後に,データセット間性能のオーバーフィットを回避するために,正規化手法としてのサプライズしきい値の利用を検討する。 ここで議論される特定のサプライズしきい値の一般性は、さらなるテストなしでは疑わしいかもしれないが、この研究は、データセットサイズに関してモデルパフォーマンスのリターンが低下するポイントが存在するという明確な証拠を提供する。 これは将来のモデル開発やデータセットの取得、デプロイメント時のモデルの柔軟性の支援にも影響します。

関連論文リスト

• Posterior Uncertainty Quantification in Neural Networks using Data Augmentation [3.9860047080844807]
  深層アンサンブルは,既存の観測結果にのみ,将来のデータがサポートされることを前提として,基本的に不特定モデルクラスであることを示す。 一般的なデータ拡張手法を用いて,より現実的な予測分布を構築する手法であるMixupMPを提案する。 実験により,MixupMPは様々な画像分類データセットにおいて,優れた予測性能と不確かさの定量化を実現することが示された。
  論文  参考訳（メタデータ） (2024-03-18T17:46:07Z)
• Informed Spectral Normalized Gaussian Processes for Trajectory Prediction [0.0]
  本稿では,SNGPの正規化に基づく連続学習手法を提案する。 提案手法は確立された手法に基づいており,リハーサルメモリやパラメータ拡張を必要としない。 本研究では, 自律運転における軌道予測問題に対する情報SNGPモデルの適用について検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:05:24Z)
• A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
  本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。 モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。 本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
  論文  参考訳（メタデータ） (2023-03-02T21:48:22Z)
• Anomaly Detection with Test Time Augmentation and Consistency Evaluation [13.709281244889691]
  本稿では,TTA-AD(Test Time Augmentation Anomaly Detection)と呼ばれる簡易かつ効果的な異常検出アルゴリズムを提案する。 我々は、分散データよりもトレーニングされたネットワーク上でのオリジナルバージョンと拡張バージョンについて、分散データの方が一貫性のある予測を楽しむことを観察した。 様々な高解像度画像ベンチマークデータセットの実験は、TTA-ADが同等またはより良い検出性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-06-06T04:27:06Z)
• Deep Generative model with Hierarchical Latent Factors for Time Series Anomaly Detection [40.21502451136054]
  本研究は、時系列異常検出のための新しい生成モデルであるDGHLを提示する。 トップダウンの畳み込みネットワークは、新しい階層的な潜在空間を時系列ウィンドウにマッピングし、時間ダイナミクスを利用して情報を効率的にエンコードする。 提案手法は,4つのベンチマーク・データセットにおいて,現在の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-02-15T17:19:44Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Robust Out-of-Distribution Detection on Deep Probabilistic Generative Models [0.06372261626436676]
  アウト・オブ・ディストリビューション(OOD)検出は機械学習システムにおいて重要な課題である。 深い確率的生成モデルは、データサンプルの可能性を推定することによって、OODの検出を容易にする。 本稿では,外周露光を伴わない新しい検出指標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:36:10Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。