論文の概要: Reducing Flipping Errors in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2203.08390v1
- Date: Wed, 16 Mar 2022 04:38:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-18 03:18:12.662774
- Title: Reducing Flipping Errors in Deep Neural Networks
- Title(参考訳): ディープニューラルネットワークにおけるフリップ誤差の低減
- Authors: Xiang Deng, Yun Xiao, Bo Long, Zhongfei Zhang
- Abstract要約: ディープニューラルネットワーク(DNN)は、人工知能の様々な領域に広く応用されている。
本報告では,DNNが最終時代において誤って分類した検体(未確認検体)が,どの程度の精度で正しく分類されたかについて検討する。
本稿では, DNN の動作変化を, 適切な局所境界を維持するために, 正しく分類されたサンプル上での動作変化を制限することを提案する。
- 参考スコア(独自算出の注目度): 39.24451665215755
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks (DNNs) have been widely applied in various domains in
artificial intelligence including computer vision and natural language
processing. A DNN is typically trained for many epochs and then a validation
dataset is used to select the DNN in an epoch (we simply call this epoch "the
last epoch") as the final model for making predictions on unseen samples, while
it usually cannot achieve a perfect accuracy on unseen samples. An interesting
question is "how many test (unseen) samples that a DNN misclassifies in the
last epoch were ever correctly classified by the DNN before the last epoch?".
In this paper, we empirically study this question and find on several benchmark
datasets that the vast majority of the misclassified samples in the last epoch
were ever classified correctly before the last epoch, which means that the
predictions for these samples were flipped from "correct" to "wrong". Motivated
by this observation, we propose to restrict the behavior changes of a DNN on
the correctly-classified samples so that the correct local boundaries can be
maintained and the flipping error on unseen samples can be largely reduced.
Extensive experiments on different benchmark datasets with different modern
network architectures demonstrate that the proposed flipping error reduction
(FER) approach can substantially improve the generalization, the robustness,
and the transferability of DNNs without introducing any additional network
parameters or inference cost, only with a negligible training overhead.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)は、コンピュータビジョンや自然言語処理など、人工知能の様々な分野に広く応用されている。
DNNは一般的に多くのエポックに対してトレーニングされ、検証データセットを使用してエポック内のDNNを選択する(このエポックを"最後のエポック"と呼ぶ)。
興味深い疑問は、「最後のエポックでDNNが誤って分類したテスト(見えない)サンプルが、最後のエポックの前にDNNによって正しく分類されたか」である。
本稿では,この質問を経験的に研究し,前四半期の誤分類されたサンプルの大多数が前四半期より前に正しく分類されていたことを示すベンチマークデータセットを複数発見する。
そこで本研究では,DNNの動作変化を正しく分類したサンプルに対して制限することにより,適切な局所境界を維持することができ,未知のサンプルの反転誤差を大幅に低減できることを示す。
現代のネットワークアーキテクチャの異なるベンチマークデータセットに対する大規模な実験により、提案されたフリップエラー削減(FER)アプローチは、ネットワークパラメータや推論コストを付加することなく、DNNの一般化、堅牢性、転送可能性を大幅に改善できることを示した。
関連論文リスト
- Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。
後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。
以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。
この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。
私たちの貢献は、より原則化された分散伝播フレームワークです。
論文 参考訳(メタデータ) (2023-11-21T22:53:20Z) - Deep Neural Networks Tend To Extrapolate Predictably [56.04573160453392]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳(メタデータ) (2023-03-25T08:56:21Z) - Time-Adaptive Recurrent Neural Networks [0.0]
リカレントニューラルネットワーク(RNN)は、伝統的に事実を無視し、時間差を追加入力として与えたり、データを再サンプリングしたりする。
我々は、RNNがデータ時間に間に合うように実効的に再サンプリングされるエレガントな代替手法を提案する。
論文 参考訳(メタデータ) (2022-04-11T15:27:40Z) - Shift-Robust GNNs: Overcoming the Limitations of Localized Graph
Training data [52.771780951404565]
Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。
SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
論文 参考訳(メタデータ) (2021-08-02T18:00:38Z) - Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。
そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
論文 参考訳(メタデータ) (2021-06-03T09:34:17Z) - Self-Competitive Neural Networks [0.0]
ディープニューラルネットワーク(DNN)は、多くのアプリケーションにおける分類問題の精度を改善している。
DNNをトレーニングする際の課題の1つは、その正確性を高め、過度な適合に苦しむことを避けるために、豊富なデータセットによって供給される必要があることである。
近年,データ拡張手法の提案が盛んに行われている。
本稿では,各クラスのドメイン・オブ・アトラクション(DoAs)を洗練させるために,逆データを生成します。このアプローチでは,各段階において,プライマリデータと生成された逆データ(その段階まで)から学習したモデルを用いて,プライマリデータを複雑な方法で操作する。
論文 参考訳(メタデータ) (2020-08-22T12:28:35Z) - One Versus all for deep Neural Network Incertitude (OVNNI)
quantification [12.734278426543332]
本稿では,データの疫学的不確実性を容易に定量化するための新しい手法を提案する。
本手法は,1つのクラス対他のクラス(OVA)を分類するために訓練されたDNNのアンサンブルの予測と,オール対オール(AVA)分類を実行するために訓練された標準DNNの予測とを混合して構成する。
論文 参考訳(メタデータ) (2020-06-01T14:06:12Z) - Computing the Testing Error without a Testing Set [33.068870286618655]
テストデータセットを必要としないトレーニングとテストの間のパフォーマンスギャップを推定するアルゴリズムを導出します。
これによって、アクセスできないサンプルでも、DNNのテストエラーを計算できます。
論文 参考訳(メタデータ) (2020-05-01T15:35:50Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-04-20T10:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。