論文の概要: Reducing Flipping Errors in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2203.08390v1
• Date: Wed, 16 Mar 2022 04:38:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 03:18:12.662774
• Title: Reducing Flipping Errors in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおけるフリップ誤差の低減
• Authors: Xiang Deng, Yun Xiao, Bo Long, Zhongfei Zhang
• Abstract要約: ディープニューラルネットワーク(DNN)は、人工知能の様々な領域に広く応用されている。 本報告では,DNNが最終時代において誤って分類した検体(未確認検体)が,どの程度の精度で正しく分類されたかについて検討する。 本稿では, DNN の動作変化を, 適切な局所境界を維持するために, 正しく分類されたサンプル上での動作変化を制限することを提案する。
• 参考スコア（独自算出の注目度）: 39.24451665215755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) have been widely applied in various domains in artificial intelligence including computer vision and natural language processing. A DNN is typically trained for many epochs and then a validation dataset is used to select the DNN in an epoch (we simply call this epoch "the last epoch") as the final model for making predictions on unseen samples, while it usually cannot achieve a perfect accuracy on unseen samples. An interesting question is "how many test (unseen) samples that a DNN misclassifies in the last epoch were ever correctly classified by the DNN before the last epoch?". In this paper, we empirically study this question and find on several benchmark datasets that the vast majority of the misclassified samples in the last epoch were ever classified correctly before the last epoch, which means that the predictions for these samples were flipped from "correct" to "wrong". Motivated by this observation, we propose to restrict the behavior changes of a DNN on the correctly-classified samples so that the correct local boundaries can be maintained and the flipping error on unseen samples can be largely reduced. Extensive experiments on different benchmark datasets with different modern network architectures demonstrate that the proposed flipping error reduction (FER) approach can substantially improve the generalization, the robustness, and the transferability of DNNs without introducing any additional network parameters or inference cost, only with a negligible training overhead.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、コンピュータビジョンや自然言語処理など、人工知能の様々な分野に広く応用されている。 DNNは一般的に多くのエポックに対してトレーニングされ、検証データセットを使用してエポック内のDNNを選択する(このエポックを"最後のエポック"と呼ぶ)。 興味深い疑問は、「最後のエポックでDNNが誤って分類したテスト(見えない)サンプルが、最後のエポックの前にDNNによって正しく分類されたか」である。 本稿では,この質問を経験的に研究し,前四半期の誤分類されたサンプルの大多数が前四半期より前に正しく分類されていたことを示すベンチマークデータセットを複数発見する。 そこで本研究では,DNNの動作変化を正しく分類したサンプルに対して制限することにより,適切な局所境界を維持することができ,未知のサンプルの反転誤差を大幅に低減できることを示す。 現代のネットワークアーキテクチャの異なるベンチマークデータセットに対する大規模な実験により、提案されたフリップエラー削減(FER)アプローチは、ネットワークパラメータや推論コストを付加することなく、DNNの一般化、堅牢性、転送可能性を大幅に改善できることを示した。

関連論文リスト

• DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
  トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。 単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。 Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
  論文  参考訳（メタデータ） (2024-09-28T15:03:28Z)
• Evaluating the Robustness of Deep-Learning Algorithm-Selection Models by Evolving Adversarial Instances [0.16874375111244325]
  ディープ畳み込みネットワーク(DNN)は、ニューラルネットワークドメインにおけるアルゴリズム選択の実行にますます利用されている。 逆のサンプルは、データセットによって元のインスタンスの最大56%から生成される。 進化的アルゴリズム(EA)を用いて、2つの既存のベンチマークからオンラインビンパッキングのためのインスタンスの摂動を見つけ、トレーニングされたDRNを誤分類させます。
  論文  参考訳（メタデータ） (2024-06-24T12:48:44Z)
• Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
  機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。 後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。 以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。 この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。 私たちの貢献は、より原則化された分散伝播フレームワークです。
  論文  参考訳（メタデータ） (2023-11-21T22:53:20Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Self-Competitive Neural Networks [0.0]
  ディープニューラルネットワーク(DNN)は、多くのアプリケーションにおける分類問題の精度を改善している。 DNNをトレーニングする際の課題の1つは、その正確性を高め、過度な適合に苦しむことを避けるために、豊富なデータセットによって供給される必要があることである。 近年,データ拡張手法の提案が盛んに行われている。 本稿では,各クラスのドメイン・オブ・アトラクション(DoAs)を洗練させるために,逆データを生成します。このアプローチでは,各段階において,プライマリデータと生成された逆データ(その段階まで)から学習したモデルを用いて,プライマリデータを複雑な方法で操作する。
  論文  参考訳（メタデータ） (2020-08-22T12:28:35Z)
• One Versus all for deep Neural Network Incertitude (OVNNI) quantification [12.734278426543332]
  本稿では,データの疫学的不確実性を容易に定量化するための新しい手法を提案する。 本手法は,1つのクラス対他のクラス(OVA)を分類するために訓練されたDNNのアンサンブルの予測と,オール対オール(AVA)分類を実行するために訓練された標準DNNの予測とを混合して構成する。
  論文  参考訳（メタデータ） (2020-06-01T14:06:12Z)
• Computing the Testing Error without a Testing Set [33.068870286618655]
  テストデータセットを必要としないトレーニングとテストの間のパフォーマンスギャップを推定するアルゴリズムを導出します。 これによって、アクセスできないサンプルでも、DNNのテストエラーを計算できます。
  論文  参考訳（メタデータ） (2020-05-01T15:35:50Z)
• GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples [77.99182201815763]
  ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。 GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。 GraNは多くの問題セットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-20T10:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。