論文の概要: Controlled abstention neural networks for identifying skillful
predictions for regression problems
- arxiv url: http://arxiv.org/abs/2104.08236v1
- Date: Fri, 16 Apr 2021 17:16:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-19 14:11:16.481304
- Title: Controlled abstention neural networks for identifying skillful
predictions for regression problems
- Title（参考訳）: 回帰問題の巧みな予測を識別するための制御された回避ニューラルネットワーク
- Authors: Elizabeth A. Barnes and Randal J. Barnes
- Abstract要約: 我々は、ニューラルネットワークが回帰問題に対する機会予測を識別できる新しい損失関数「アテンション損失」を導入する。
トレーニング中に、より確実なサンプルから優先的に学習するために、禁忌損失が適用される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The earth system is exceedingly complex and often chaotic in nature, making
prediction incredibly challenging: we cannot expect to make perfect predictions
all of the time. Instead, we look for specific states of the system that lead
to more predictable behavior than others, often termed "forecasts of
opportunity". When these opportunities are not present, scientists need
prediction systems that are capable of saying "I don't know." We introduce a
novel loss function, termed "abstention loss", that allows neural networks to
identify forecasts of opportunity for regression problems. The abstention loss
works by incorporating uncertainty in the network's prediction to identify the
more confident samples and abstain (say "I don't know") on the less confident
samples. The abstention loss is designed to determine the optimal abstention
fraction, or abstain on a user-defined fraction via a PID controller. Unlike
many methods for attaching uncertainty to neural network predictions
post-training, the abstention loss is applied during training to preferentially
learn from the more confident samples. The abstention loss is built upon a
standard computer science method. While the standard approach is itself a
simple yet powerful tool for incorporating uncertainty in regression problems,
we demonstrate that the abstention loss outperforms this more standard method
for the synthetic climate use cases explored here. The implementation of
proposed loss function is straightforward in most network architectures
designed for regression, as it only requires modification of the output layer
and loss function.
- Abstract（参考訳）: 地球系は、非常に複雑で、しばしばカオス的であり、予測は信じられないほど困難である。
その代わり、システムの特定の状態を探し、他の状態よりも予測可能な振る舞いをもたらし、しばしば「機会の予測」と呼ばれる。
これらの機会がない場合、科学者は「私は知らない」と言うことができる予測システムが必要です。
我々は、ニューラルネットワークが回帰問題に対する機会予測を識別できる新しい損失関数「アテンション損失」を導入する。
禁忌損失は、ネットワークの予測に不確実性を取り入れて、信頼性の低いサンプルと(例えば"I don't know")より確実なサンプルを識別する。
禁忌損失は、最適禁忌率、またはPIDコントローラを介してユーザ定義の禁忌率を決定するように設計されている。
トレーニング後のニューラルネットワーク予測に不確実性を加える多くの方法とは異なり、トレーニング中に禁忌損失を適用して、より確実なサンプルから優先的に学習する。
吸収損失は標準的なコンピュータ科学の方法に基づいている。
標準手法は, 回帰問題に不確かさを組み込むための, 単純かつ強力なツールである一方, 吸収損失は, 合成気候のユースケースにおいて, より標準的な方法よりも優れていることを示す。
提案する損失関数の実装は回帰のために設計されたほとんどのネットワークアーキテクチャにおいて単純であり、出力層と損失関数の変更のみを必要とする。
関連論文リスト
- Enforcing Equity in Neural Climate Emulators [0.0]
ニューラルネットワークエミュレータを予測の不平等な品質で罰するカスタム損失関数を提案する。
損失関数は、ニューラルネットワークを向かわせるために、特定の株式の定義を規定しない。
以上の結果から, 損失関数でトレーニングしたニューラル気候エミュレータの方が, より公平な予測が可能であることが示唆された。
論文 参考訳（メタデータ） (2024-06-28T03:47:54Z) - ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。
我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
論文 参考訳（メタデータ） (2022-11-21T13:23:09Z) - Interpretable Self-Aware Neural Networks for Robust Trajectory
Prediction [50.79827516897913]
本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。
実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-16T06:28:20Z) - SIoU Loss: More Powerful Learning for Bounding Box Regression [0.0]
損失関数SIoUが提案され、所望の回帰のベクトルの角度を考慮してペナルティ指標が再定義された。
従来のニューラルネットワークやデータセットに適用すると、SIoUはトレーニングの速度と推論の精度の両方を改善する。
論文 参考訳（メタデータ） (2022-05-25T12:46:21Z) - Training Uncertainty-Aware Classifiers with Conformalized Deep Learning [7.837881800517111]
ディープニューラルネットワークは、データ内の隠れパターンを検出し、それらを活用して予測する強力なツールであるが、不確実性を理解するように設計されていない。
我々は予測力を犠牲にすることなく、より信頼性の高い不確実性推定を導出できる新しいトレーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-05-12T05:08:10Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - Robust Neural Regression via Uncertainty Learning [5.654198773446211]
ディープニューラルネットワークは不確実性を過小評価し、過度に自信を持って予測する傾向がある。
一般化線形回帰法において、時間的反復重み付き最小二乗(IRLS)を拡張して簡単な解を提案する。
我々は2つのサブネットワークを用いて予測と不確実性推定をパラメトリズし、複雑な入力と非線形応答を容易に扱えるようにした。
論文 参考訳（メタデータ） (2021-10-12T23:19:13Z) - Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。
我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。
そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
論文 参考訳（メタデータ） (2021-09-30T19:19:09Z) - Controlled abstention neural networks for identifying skillful
predictions for classification problems [0.0]
我々はニューラルネットワークが分類問題に対する機会予測を識別できる新しい損失関数「NotWrong Los」を導入する。
トレーニング中にNotWrong損失を適用して、より確実なサンプルから優先的に学習する。
NotWrong損失は、複数の気候使用ケースの他の既存の損失機能よりも優れていることを示しています。
論文 参考訳（メタデータ） (2021-04-16T17:18:32Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear
Analysis [68.8204255655161]
人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。
シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
論文 参考訳（メタデータ） (2020-07-14T15:47:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。