論文の概要: Studying the Impact of Stochasticity on the Evaluation of Deep Neural Networks for Forest-Fire Prediction

• arxiv url: http://arxiv.org/abs/2402.15163v2
• Date: Fri, 19 Apr 2024 19:26:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 23:24:19.169562
• Title: Studying the Impact of Stochasticity on the Evaluation of Deep Neural Networks for Forest-Fire Prediction
• Title（参考訳）: 森林火災予測のための深部ニューラルネットワーク評価における確率の影響に関する研究
• Authors: Harshit Kumar, Biswadeep Chakraborty, Beomseok Kang, Saibal Mukhopadhyay,
• Abstract要約: 本稿では,前提条件下でのDeep Neural Network (DNN) 評価に関する最初の体系的研究を行い,山火事予測に着目した。 現在の評価戦略は、山火事の進化の複雑さに不可欠な、基礎となる過程を学習する能力よりも、DNNが観測対象の真実を再現することを強調している。 我々は新しい評価基準を提案する:DNNはプロセスを学んだか?
• 参考スコア（独自算出の注目度）: 17.897121328003617
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents the first systematic study of Deep Neural Network (DNN) evaluation under stochastic assumptions, focusing on wildfire prediction. We note that current evaluation strategies emphasize a DNN's replication of observed ground truths rather than its ability to learn the underlying stochastic processes, crucial for capturing wildfire evolution's complexity. To bridge this gap, we propose a novel evaluation criterion: Has the DNN learned the stochastic process? Using a synthetic dataset, we introduce a framework to characterize the stochastic process (generated by randomness in fire evolution rules). Through this framework, we assess an evaluation metric's capability to test if the DNN has learned the stochastic process. Our findings show that conventional metrics, including classification-based metrics and proper scoring rules, are inadequate. We identify the Expected Calibration Error (ECE) as a robust metric that tests the proposed evaluation criteria, offering asymptotic guarantees of proper scoring rules and improved interpretability through calibration curves. We extend our analysis to real-world wildfire data, highlighting the limitations of traditional evaluation methods and demonstrating the utility of ECE as a stochasticity-compatible metric alongside existing ones.
• Abstract（参考訳）: 本稿では,山火事の予測に焦点をあて,確率的仮定に基づくDeep Neural Network (DNN) 評価に関する最初の体系的研究について述べる。 現在の評価戦略は,基盤となる確率過程を学習する能力よりも,DNNが観測対象の真実を再現することが重要であり,山火事の進化の複雑さを捉えるのに不可欠である。 このギャップを埋めるために、我々は新しい評価基準を提案する: DNNは確率過程を学んだか? 合成データセットを用いて,火の進化規則のランダム性によって生成される確率過程を特徴付ける枠組みを導入する。 この枠組みを通じて,DNNが確率過程を学習したかどうかを評価するための評価指標の能力を評価する。 本研究は,分類基準や適切なスコアリングルールを含む従来の指標が不十分であることを示す。 我々は,予測校正誤差(ECE)を,提案した評価基準を検証し,適切なスコアリングルールの漸近的保証と校正曲線による解釈可能性の向上を提供する頑健な指標として同定する。 我々は実世界の山火事データに分析を拡張し、従来の評価手法の限界を強調し、ECEを既存の指標と共に確率論的に互換性のある指標として有効性を示す。

関連論文リスト

• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• The Significance of Latent Data Divergence in Predicting System Degradation [1.2058600649065616]
  条件ベースのメンテナンスは、エンジニアリングシステムにおける潜在的な障害を早期に検出する上で、重要である。 本稿では,システムコンポーネントの潜在データ内における統計的類似性の分析を基礎とした新しい手法を提案する。 システム間の類似性は、これらの先行の相違を評価し、個々のシステム行動の微妙な理解を提供することによって推測する。
  論文  参考訳（メタデータ） (2024-06-13T11:41:20Z)
• A Bayesian Unification of Self-Supervised Clustering and Energy-Based Models [11.007541337967027]
  我々は、最先端の自己教師型学習目標のベイズ分析を行う。 目的関数が既存の自己教師型学習戦略より優れていることを示す。 また、GEDIをニューロシンボリックな枠組みに統合できることを実証した。
  論文  参考訳（メタデータ） (2023-12-30T04:46:16Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Expectation consistency for calibration of neural networks [24.073221004661427]
  期待整合性(EC)という新しいキャリブレーション手法を導入する。 ECは、平均検証の信頼性が正しいラベルの平均比率と一致することを強制する。 我々は,ECが温度スケーリングを著しく上回る事例について論じる。
  論文  参考訳（メタデータ） (2023-03-05T11:21:03Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Robust Deep Learning for Autonomous Driving [0.0]
  モデル信頼度を確実に推定する新しい基準を導入する:真のクラス確率(TCP) 真のクラスは本質的にテスト時に未知であるため、補助モデルを用いてデータからTCPの基準を学習し、この文脈に適応した特定の学習スキームを導入することを提案する。 本研究は, 既知モデルに基づく新たな不確実性尺度を導入することで, 誤分類と分布外サンプルを共同で検出する課題に対処する。
  論文  参考訳（メタデータ） (2022-11-14T22:07:11Z)
• Evaluating Disentanglement in Generative Models Without Knowledge of Latent Factors [71.79984112148865]
  本稿では,学習中に提示される学習力学に基づいて生成モデルのランキング付けを行う手法を提案する。 本手法は,近年の解離の理論的特徴から着想を得たものであり,その根底にある潜伏因子の監督は不要である。
  論文  参考訳（メタデータ） (2022-10-04T17:27:29Z)
• New Machine Learning Techniques for Simulation-Based Inference: InferoStatic Nets, Kernel Score Estimation, and Kernel Likelihood Ratio Estimation [4.415977307120616]
  確率密度を標本化できるが直接計算できない場合のスコアと確率比推定器をモデル化する機械学習手法を提案する。 我々はそれぞれKernel Score Estimation (KSE) と Kernel Likelihood Ratio Estimation (KLRE) と呼ばれる新しい戦略を導入し、シミュレーションデータからスコアと確率比関数を学習する。
  論文  参考訳（メタデータ） (2022-10-04T15:22:56Z)
• A Unified Contrastive Energy-based Model for Understanding the Generative Ability of Adversarial Training [64.71254710803368]
  Adversarial Training (AT) は、ディープニューラルネットワークの堅牢性を高める効果的なアプローチである。 我々は、Contrastive Energy-based Models(CEM)と呼ばれる統合確率的枠組みを開発することにより、この現象をデミステレーションする。 本稿では,逆学習法とサンプリング法を開発するための原則的手法を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:33:34Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。