論文の概要: Studying the Impact of Stochasticity on the Evaluation of Deep Neural Networks for Forest-Fire Prediction
- arxiv url: http://arxiv.org/abs/2402.15163v2
- Date: Fri, 19 Apr 2024 19:26:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 23:24:19.169562
- Title: Studying the Impact of Stochasticity on the Evaluation of Deep Neural Networks for Forest-Fire Prediction
- Title（参考訳）: 森林火災予測のための深部ニューラルネットワーク評価における確率の影響に関する研究
- Authors: Harshit Kumar, Biswadeep Chakraborty, Beomseok Kang, Saibal Mukhopadhyay,
- Abstract要約: 本稿では,前提条件下でのDeep Neural Network (DNN) 評価に関する最初の体系的研究を行い,山火事予測に着目した。
現在の評価戦略は、山火事の進化の複雑さに不可欠な、基礎となる過程を学習する能力よりも、DNNが観測対象の真実を再現することを強調している。
我々は新しい評価基準を提案する:DNNはプロセスを学んだか?
- 参考スコア（独自算出の注目度）: 17.897121328003617
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents the first systematic study of Deep Neural Network (DNN) evaluation under stochastic assumptions, focusing on wildfire prediction. We note that current evaluation strategies emphasize a DNN's replication of observed ground truths rather than its ability to learn the underlying stochastic processes, crucial for capturing wildfire evolution's complexity. To bridge this gap, we propose a novel evaluation criterion: Has the DNN learned the stochastic process? Using a synthetic dataset, we introduce a framework to characterize the stochastic process (generated by randomness in fire evolution rules). Through this framework, we assess an evaluation metric's capability to test if the DNN has learned the stochastic process. Our findings show that conventional metrics, including classification-based metrics and proper scoring rules, are inadequate. We identify the Expected Calibration Error (ECE) as a robust metric that tests the proposed evaluation criteria, offering asymptotic guarantees of proper scoring rules and improved interpretability through calibration curves. We extend our analysis to real-world wildfire data, highlighting the limitations of traditional evaluation methods and demonstrating the utility of ECE as a stochasticity-compatible metric alongside existing ones.
- Abstract（参考訳）: 本稿では,山火事の予測に焦点をあて,確率的仮定に基づくDeep Neural Network (DNN) 評価に関する最初の体系的研究について述べる。
現在の評価戦略は,基盤となる確率過程を学習する能力よりも,DNNが観測対象の真実を再現することが重要であり,山火事の進化の複雑さを捉えるのに不可欠である。
このギャップを埋めるために、我々は新しい評価基準を提案する: DNNは確率過程を学んだか?
合成データセットを用いて,火の進化規則のランダム性によって生成される確率過程を特徴付ける枠組みを導入する。
この枠組みを通じて,DNNが確率過程を学習したかどうかを評価するための評価指標の能力を評価する。
本研究は,分類基準や適切なスコアリングルールを含む従来の指標が不十分であることを示す。
我々は,予測校正誤差(ECE)を,提案した評価基準を検証し,適切なスコアリングルールの漸近的保証と校正曲線による解釈可能性の向上を提供する頑健な指標として同定する。
我々は実世界の山火事データに分析を拡張し、従来の評価手法の限界を強調し、ECEを既存の指標と共に確率論的に互換性のある指標として有効性を示す。
関連論文リスト
- The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。
我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。
私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
論文 参考訳（メタデータ） (2025-01-13T13:10:16Z) - Average-Over-Time Spiking Neural Networks for Uncertainty Estimation in Regression [3.409728296852651]
本稿では,AOT-SNN(Average-Over-Time Spiking Neural Network)フレームワークを回帰タスクに適用する2つの手法を提案する。
おもちゃのデータセットといくつかのベンチマークデータセットの両方に対して、我々のアプローチを評価します。
論文 参考訳（メタデータ） (2024-11-29T23:13:52Z) - Quantifying calibration error in modern neural networks through evidence based theory [0.0]
本稿では、予測エラー(ECE)の評価に主観的論理を組み込むことにより、ニューラルネットワークの信頼性を定量化する新しい枠組みを提案する。
我々は,MNISTおよびCIFAR-10データセットを用いた実験により,信頼性が向上したことを示す。
提案されたフレームワークは、医療や自律システムといったセンシティブな分野における潜在的な応用を含む、AIモデルのより解釈可能でニュアンスな評価を提供する。
論文 参考訳（メタデータ） (2024-10-31T23:54:21Z) - A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。
すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。
私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
論文 参考訳（メタデータ） (2024-10-04T15:44:23Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z) - From Reactive to Proactive Volatility Modeling with Hemisphere Neural Networks [0.0]
我々は,新しいニューラルネットワークアーキテクチャを用いて,マクロ経済密度予測のための最大推定値(MLE)を再活性化する。
ヘミスフィアニューラルネットワーク(HNN)は、可能時の主指標に基づく積極的なボラティリティ予測と、必要時の過去の予測誤差の大きさに基づく反応性ボラティリティ予測を提供する。
論文 参考訳（メタデータ） (2023-11-27T21:37:50Z) - Amortised Inference in Bayesian Neural Networks [0.0]
Amortized Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN)を紹介する。
補正された推論は、従来の変分推論によって得られたものと類似または良好な品質であることが示される。
次に、APOVI-BNNをニューラルプロセスファミリーの新たなメンバーと見なす方法について論じる。
論文 参考訳（メタデータ） (2023-09-06T14:02:33Z) - Exploring validation metrics for offline model-based optimisation with
diffusion models [50.404829846182764]
モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。
モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。
本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
論文 参考訳（メタデータ） (2022-11-19T16:57:37Z) - Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
本稿では,ニューラルモデルによる反事実文の評価について検討する。
まず、神経因果モデル(NCM)が十分に表現可能であることを示す。
第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-09-30T18:29:09Z) - Cross Learning in Deep Q-Networks [82.20059754270302]
本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。
本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
論文 参考訳（メタデータ） (2020-09-29T04:58:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。