論文の概要: Controlled abstention neural networks for identifying skillful predictions for classification problems

• arxiv url: http://arxiv.org/abs/2104.08281v1
• Date: Fri, 16 Apr 2021 17:18:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 13:33:24.801959
• Title: Controlled abstention neural networks for identifying skillful predictions for classification problems
• Title（参考訳）: 分類問題に対する巧妙な予測を識別するための制御回避ニューラルネットワーク
• Authors: Elizabeth A. Barnes and Randal J. Barnes
• Abstract要約: 我々はニューラルネットワークが分類問題に対する機会予測を識別できる新しい損失関数「NotWrong Los」を導入する。 トレーニング中にNotWrong損失を適用して、より確実なサンプルから優先的に学習する。 NotWrong損失は、複数の気候使用ケースの他の既存の損失機能よりも優れていることを示しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The earth system is exceedingly complex and often chaotic in nature, making prediction incredibly challenging: we cannot expect to make perfect predictions all of the time. Instead, we look for specific states of the system that lead to more predictable behavior than others, often termed "forecasts of opportunity." When these opportunities are not present, scientists need prediction systems that are capable of saying "I don't know." We introduce a novel loss function, termed the "NotWrong loss", that allows neural networks to identify forecasts of opportunity for classification problems. The NotWrong loss introduces an abstention class that allows the network to identify the more confident samples and abstain (say "I don't know") on the less confident samples. The abstention loss is designed to abstain on a user-defined fraction of the samples via a PID controller. Unlike many machine learning methods used to reject samples post-training, the NotWrong loss is applied during training to preferentially learn from the more confident samples. We show that the NotWrong loss outperforms other existing loss functions for multiple climate use cases. The implementation of the proposed loss function is straightforward in most network architectures designed for classification as it only requires the addition of an abstention class to the output layer and modification of the loss function.
• Abstract（参考訳）: 地球系は、非常に複雑で、しばしばカオス的であり、予測は信じられないほど困難である。 代わりに、私たちは「機会の予報」と呼ばれる、他のものよりも予測可能な行動につながるシステムの特定の状態を探します。 これらの機会がない場合、科学者は「私は知らない」と言うことができる予測システムが必要です。 我々はニューラルネットワークが分類問題に対する機会予測を識別できる新しい損失関数「NotWrong Los」を導入する。 NotWrongの損失は、信頼性の低いサンプルに対して、ネットワークがより自信のあるサンプルと(例えば"I don't know")禁忌を識別できる禁忌クラスを導入する。 吸収損失は、pidコントローラを介してユーザ定義のサンプルの分数を吸収するように設計されている。 トレーニング後のサンプルを拒否するために使用される多くの機械学習方法とは異なり、トレーニング中にNotWrong損失を適用して、より確実なサンプルから優先的に学習する。 NotWrongの損失は、複数の気候ユースケースにおける既存の損失関数よりも優れていることを示す。 提案した損失関数の実装は,出力層への禁忌クラスの追加と損失関数の修正のみを必要とするため,分類用に設計されたほとんどのネットワークアーキテクチャにおいて容易である。

関連論文リスト

• Extracting Usable Predictions from Quantized Networks through Uncertainty Quantification for OOD Detection [0.0]
  OOD検出は、ネットワーク設計の進歩とタスクの複雑さの増大により、より重要になっている。 本稿では、事前学習された視覚モデルから予測の不確かさを定量化する不確実性定量化(UQ)手法を提案する。 我々の手法は、無視されたサンプルの80%が誤分類されるのを防いでいることを観察する。
  論文  参考訳（メタデータ） (2024-03-02T03:03:29Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
  汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。 我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
  論文  参考訳（メタデータ） (2022-11-21T13:23:09Z)
• A heteroencoder architecture for prediction of failure locations in porous metals using variational inference [1.2722697496405462]
  多孔質金属張力試験片の故障箇所を予測するために,エンコーダ・デコーダ畳み込みニューラルネットワークを用いた。 故障箇所の予測の目的は、標本中のほとんどの材料が故障しないため、クラス不均衡の極端なケースを示す。 得られた予測分散は、任意の標本において最も失敗する可能性のある位置のランク付けに有効であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:26:53Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Omnipredictors [19.735769148626588]
  ロス最小化は機械学習において支配的なパラダイムである。 我々は家族の損失を最適化するために使用できる$mathcalL,mathcalC$)-omnipredictorの概念を紹介した。 このような「余分な知識」の学習は、多重校正とのつながりを通して実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-11T23:28:49Z)
• Center Prediction Loss for Re-identification [65.58923413172886]
  我々は, 中心予測率に基づく新たな損失, すなわち, 試料が特徴空間の位置に位置しなければならず, そこから同一クラス標本の中心の位置を大まかに予測できることを示す。 今回の新たな損失により,クラス間サンプルの分離性が向上しつつ,クラス内分散制約がより柔軟になることを示す。
  論文  参考訳（メタデータ） (2021-04-30T03:57:31Z)
• Controlled abstention neural networks for identifying skillful predictions for regression problems [0.0]
  我々は、ニューラルネットワークが回帰問題に対する機会予測を識別できる新しい損失関数「アテンション損失」を導入する。 トレーニング中に、より確実なサンプルから優先的に学習するために、禁忌損失が適用される。
  論文  参考訳（メタデータ） (2021-04-16T17:16:32Z)
• An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear Analysis [68.8204255655161]
  人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。 シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
  論文  参考訳（メタデータ） (2020-07-14T15:47:37Z)
• Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
  類似サンプル間の予測分布を解析する新しい正規化法を提案する。 これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。 画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-31T06:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。