論文の概要: Studying the Impact of Stochasticity on the Evaluation of Deep Neural Networks for Forest-Fire Prediction
- arxiv url: http://arxiv.org/abs/2402.15163v2
- Date: Fri, 19 Apr 2024 19:26:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 23:24:19.169562
- Title: Studying the Impact of Stochasticity on the Evaluation of Deep Neural Networks for Forest-Fire Prediction
- Title(参考訳): 森林火災予測のための深部ニューラルネットワーク評価における確率の影響に関する研究
- Authors: Harshit Kumar, Biswadeep Chakraborty, Beomseok Kang, Saibal Mukhopadhyay,
- Abstract要約: 本稿では,前提条件下でのDeep Neural Network (DNN) 評価に関する最初の体系的研究を行い,山火事予測に着目した。
現在の評価戦略は、山火事の進化の複雑さに不可欠な、基礎となる過程を学習する能力よりも、DNNが観測対象の真実を再現することを強調している。
我々は新しい評価基準を提案する:DNNはプロセスを学んだか?
- 参考スコア(独自算出の注目度): 17.897121328003617
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents the first systematic study of Deep Neural Network (DNN) evaluation under stochastic assumptions, focusing on wildfire prediction. We note that current evaluation strategies emphasize a DNN's replication of observed ground truths rather than its ability to learn the underlying stochastic processes, crucial for capturing wildfire evolution's complexity. To bridge this gap, we propose a novel evaluation criterion: Has the DNN learned the stochastic process? Using a synthetic dataset, we introduce a framework to characterize the stochastic process (generated by randomness in fire evolution rules). Through this framework, we assess an evaluation metric's capability to test if the DNN has learned the stochastic process. Our findings show that conventional metrics, including classification-based metrics and proper scoring rules, are inadequate. We identify the Expected Calibration Error (ECE) as a robust metric that tests the proposed evaluation criteria, offering asymptotic guarantees of proper scoring rules and improved interpretability through calibration curves. We extend our analysis to real-world wildfire data, highlighting the limitations of traditional evaluation methods and demonstrating the utility of ECE as a stochasticity-compatible metric alongside existing ones.
- Abstract(参考訳): 本稿では,山火事の予測に焦点をあて,確率的仮定に基づくDeep Neural Network (DNN) 評価に関する最初の体系的研究について述べる。
現在の評価戦略は,基盤となる確率過程を学習する能力よりも,DNNが観測対象の真実を再現することが重要であり,山火事の進化の複雑さを捉えるのに不可欠である。
このギャップを埋めるために、我々は新しい評価基準を提案する: DNNは確率過程を学んだか?
合成データセットを用いて,火の進化規則のランダム性によって生成される確率過程を特徴付ける枠組みを導入する。
この枠組みを通じて,DNNが確率過程を学習したかどうかを評価するための評価指標の能力を評価する。
本研究は,分類基準や適切なスコアリングルールを含む従来の指標が不十分であることを示す。
我々は,予測校正誤差(ECE)を,提案した評価基準を検証し,適切なスコアリングルールの漸近的保証と校正曲線による解釈可能性の向上を提供する頑健な指標として同定する。
我々は実世界の山火事データに分析を拡張し、従来の評価手法の限界を強調し、ECEを既存の指標と共に確率論的に互換性のある指標として有効性を示す。
関連論文リスト
- Echoes of Socratic Doubt: Embracing Uncertainty in Calibrated Evidential
Reinforcement Learning [1.9202125044890677]
提案アルゴリズムは,共形推論の原理に基づいて,深い明解学習と量子キャリブレーションを組み合わせる。
ミニチュア化されたアタリゲームスイート(MinAtar)でテストされる。
論文 参考訳(メタデータ) (2024-02-11T05:17:56Z) - Random-Set Convolutional Neural Network (RS-CNN) for Epistemic Deep
Learning [6.1614313137673875]
本稿では,クラス集合上の確率ベクトルよりも信念関数を予測するために,ランダムセット畳み込みニューラルネットワーク(RS-CNN)を提案する。
古典的評価設定において,提案手法が競合する不確実性認識アプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-11T20:00:35Z) - Expectation consistency for calibration of neural networks [24.073221004661427]
期待整合性(EC)という新しいキャリブレーション手法を導入する。
ECは、平均検証の信頼性が正しいラベルの平均比率と一致することを強制する。
我々は,ECが温度スケーリングを著しく上回る事例について論じる。
論文 参考訳(メタデータ) (2023-03-05T11:21:03Z) - Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。
昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。
本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-03T20:37:55Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Robust Deep Learning for Autonomous Driving [0.0]
モデル信頼度を確実に推定する新しい基準を導入する:真のクラス確率(TCP)
真のクラスは本質的にテスト時に未知であるため、補助モデルを用いてデータからTCPの基準を学習し、この文脈に適応した特定の学習スキームを導入することを提案する。
本研究は, 既知モデルに基づく新たな不確実性尺度を導入することで, 誤分類と分布外サンプルを共同で検出する課題に対処する。
論文 参考訳(メタデータ) (2022-11-14T22:07:11Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳(メタデータ) (2022-11-11T19:34:17Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。
PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
論文 参考訳(メタデータ) (2022-01-26T19:59:14Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳(メタデータ) (2021-07-01T17:59:07Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。