論文の概要: Towards Robust Deep Learning using Entropic Losses
- arxiv url: http://arxiv.org/abs/2208.03566v1
- Date: Sat, 6 Aug 2022 18:52:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 13:43:33.574043
- Title: Towards Robust Deep Learning using Entropic Losses
- Title（参考訳）: エントロピー損失を用いたロバスト深層学習に向けて
- Authors: David Mac\^edo
- Abstract要約: この論文は、新規な損失関数と検出スコアを提案することにより、未解決のアウト・オブ・ディストリビューション検出タスクに取り組む。
また、この頑健性に関連するタスクにも対処し、ディープニューラルネットワークによって提示される確率がどれほど現実的であるかを評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current deep learning solutions are well known for not informing whether they
can reliably classify an example during inference. One of the most effective
ways to build more reliable deep learning solutions is to improve their
performance in the so-called out-of-distribution detection task, which
essentially consists of "know that you do not know" or "know the unknown". In
other words, out-of-distribution detection capable systems may reject
performing a nonsense classification when submitted to instances of classes on
which the neural network was not trained. This thesis tackles the defiant
out-of-distribution detection task by proposing novel loss functions and
detection scores. Uncertainty estimation is also a crucial auxiliary task in
building more robust deep learning systems. Therefore, we also deal with this
robustness-related task, which evaluates how realistic the probabilities
presented by the deep neural network are. To demonstrate the effectiveness of
our approach, in addition to a substantial set of experiments, which includes
state-of-the-art results, we use arguments based on the principle of maximum
entropy to establish the theoretical foundation of the proposed approaches.
Unlike most current methods, our losses and scores are seamless and principled
solutions that produce accurate predictions in addition to fast and efficient
inference. Moreover, our approaches can be incorporated into current and future
projects simply by replacing the loss used to train the deep neural network and
computing a rapid score for detection.
- Abstract（参考訳）: 現在のディープラーニングソリューションは、推論中にサンプルを確実に分類できるかどうかを知らせないことでよく知られている。
より信頼性の高いディープラーニングソリューションを構築するための最も効果的な方法の1つは、いわゆるアウト・オブ・ディストリビューション(out-of-distribution)検出タスクにおけるパフォーマンスを改善することだ。
言い換えれば、分散検出能力のあるシステムは、ニューラルネットワークがトレーニングされていないクラスのインスタンスに送信されると、ナンセンスな分類を行うことを拒否する可能性がある。
本論文は, 新たな損失関数と検出スコアを提案することにより, 未解決の分散検出タスクに取り組む。
不確実性推定は、より堅牢なディープラーニングシステムを構築する上で重要な補助タスクでもある。
そこで,本研究では,ディープニューラルネットワークが提示する確率がどの程度現実的かを評価するロバストネス関連タスクにも対処する。
提案手法の有効性を実証するために,最先端の成果を含む実験セットに加えて,最大エントロピー原理に基づく議論を用いて,提案手法の理論的基礎を確立する。
現在のほとんどの方法とは異なり、損失とスコアはシームレスで原則的なソリューションであり、高速で効率的な推論に加えて正確な予測を生み出します。
さらに、深層ニューラルネットワークのトレーニングに使用される損失を置き換え、検出のための迅速なスコアを計算するだけで、現在のプロジェクトや将来のプロジェクトに組み込むことができます。
関連論文リスト
- Neural Active Learning Beyond Bandits [69.99592173038903]
ストリームベースとプールベースの両方のアクティブラーニングをニューラルネットワーク近似を用いて検討する。
ストリームベースおよびプールベースアクティブラーニングのためのニューラルネットワークを新たに設計したエクスプロイトと探索に基づく2つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-18T21:52:14Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - Generalized Uncertainty of Deep Neural Networks: Taxonomy and
Applications [1.9671123873378717]
ディープニューラルネットワークの不確実性は、解釈可能性と透明性の感覚において重要であるだけでなく、パフォーマンスをさらに向上するためにも重要であることを示す。
我々は、ディープニューラルネットワークの不確実性の定義を、入力またはインプットラベルペアに関連する任意の数またはベクトルに一般化し、そのような不確かさをディープモデルから「マイニングに関する既存の方法」をカタログ化する。
論文 参考訳（メタデータ） (2023-02-02T22:02:33Z) - Sparse Deep Learning: A New Framework Immune to Local Traps and
Miscalibration [12.05471394131891]
我々は、上記の問題を一貫性のある方法で解決する、疎いディープラーニングのための新しいフレームワークを提供する。
我々はスパース深層学習の理論的基礎を築き,スパースニューラルネットワークの学習に先立つアニールアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-01T21:16:34Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳（メタデータ） (2021-06-18T16:34:23Z) - Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。
本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文 参考訳（メタデータ） (2021-04-13T12:20:18Z) - Increasing the Confidence of Deep Neural Networks by Coverage Analysis [71.57324258813674]
本稿では、異なる安全でない入力に対してモデルを強化するために、カバレッジパラダイムに基づく軽量な監視アーキテクチャを提案する。
実験結果から,提案手法は強力な対向例とアウト・オブ・ディストリビューション・インプットの両方を検出するのに有効であることが示唆された。
論文 参考訳（メタデータ） (2021-01-28T16:38:26Z) - Ramifications of Approximate Posterior Inference for Bayesian Deep
Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
論文 参考訳（メタデータ） (2020-09-03T16:58:15Z) - Confidence-Aware Learning for Deep Neural Networks [4.9812879456945]
本稿では,新たな損失関数であるCorrectness Ranking Lossを用いたディープニューラルネットワークのトレーニング手法を提案する。
クラス確率を明示的に規則化し、信頼度に応じて順序付けされたランキングでより良い信頼度の推定を行う。
従来の深層分類器とほぼ同じ計算コストを持ち、1つの推論で信頼性のある予測を出力する。
論文 参考訳（メタデータ） (2020-07-03T02:00:35Z) - Depth Uncertainty in Neural Networks [2.6763498831034043]
ディープラーニングにおける不確実性を推定する既存の方法は、複数の前方パスを必要とする傾向がある。
フィードフォワードネットワークのシーケンシャルな構造を利用することで、トレーニング目標を評価し、単一のフォワードパスで予測を行うことができる。
実世界の回帰と画像分類タスクに対する我々のアプローチを検証する。
論文 参考訳（メタデータ） (2020-06-15T14:33:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。