論文の概要: A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples

• arxiv url: http://arxiv.org/abs/2008.09381v4
• Date: Mon, 6 Sep 2021 17:24:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 20:54:02.385493
• Title: A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples
• Title（参考訳）: 深層ニューラルネットワークの一般化包絡評価に関する調査研究 : 予測的不確実性, 分布外, 逆境サンプル
• Authors: Julia Lust and Alexandru Paul Condurache
• Abstract要約: ディープニューラルネットワーク(DNN)は多くのアプリケーションで最先端のパフォーマンスを達成する。 入力を受けたDNNが、通常、その決定基準が不透明であるため、正しい出力を提供するかどうかを事前に判断することは困難である。 本調査は,機械学習手法,特にDNNの一般化性能について,大規模フレームワーク内の3つの分野を関連づけるものである。
• 参考スコア（独自算出の注目度）: 77.99182201815763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) achieve state-of-the-art performance on numerous applications. However, it is difficult to tell beforehand if a DNN receiving an input will deliver the correct output since their decision criteria are usually nontransparent. A DNN delivers the correct output if the input is within the area enclosed by its generalization envelope. In this case, the information contained in the input sample is processed reasonably by the network. It is of large practical importance to assess at inference time if a DNN generalizes correctly. Currently, the approaches to achieve this goal are investigated in different problem set-ups rather independently from one another, leading to three main research and literature fields: predictive uncertainty, out-of-distribution detection and adversarial example detection. This survey connects the three fields within the larger framework of investigating the generalization performance of machine learning methods and in particular DNNs. We underline the common ground, point at the most promising approaches and give a structured overview of the methods that provide at inference time means to establish if the current input is within the generalization envelope of a DNN.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は多くのアプリケーションで最先端のパフォーマンスを達成する。 しかしながら、入力を受けたDNNが正しい出力を提供するかどうかを事前に判断することは困難である。 DNNは、入力がその一般化エンベロープで囲まれた領域内にある場合、正しい出力を提供する。 この場合、入力サンプルに含まれる情報はネットワークによって合理的に処理される。 DNNが正しく一般化した場合、推測時刻で評価することが非常に重要である。 現在、この目標を達成するためのアプローチは、互いに独立して異なる問題設定で検討されており、予測的不確実性、分布外検出、逆例検出という3つの主要な研究と文献分野が導かれている。 本調査は,機械学習手法,特にDNNの一般化性能を調査する大規模フレームワークにおける3つの分野を結びつける。 我々は、共通点を概説し、最も有望なアプローチを指摘し、現在の入力がdnnの一般化エンベロープ内にあるかどうかを確定する推論時に提供するメソッドの構造化された概要を与える。

関連論文リスト

• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Verifying Generalization in Deep Learning [3.4948705785954917]
  ディープニューラルネットワーク(Deep Neural Network, DNN)は、ディープラーニングのワークホースである。 DNNは、一般化の貧弱さ、すなわち訓練中に遭遇しない入力が不十分であることを示すことが知られている。 本稿では,新しい入力領域によく適応するDNNに基づく決定ルールを識別するための,検証駆動型手法を提案する。
  論文  参考訳（メタデータ） (2023-02-11T17:08:15Z)
• The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural Networks [94.63547069706459]
  #DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。 違反の正確な数を返す新しい手法を提案する。 安全クリティカルなベンチマークのセットに関する実験結果を示す。
  論文  参考訳（メタデータ） (2023-01-17T18:32:01Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Bounding generalization error with input compression: An empirical study with infinite-width networks [16.17600110257266]
  Deep Neural Networks(DNN)のGE(Generalization Error)を推定することは、しばしばホールドアウトデータの可用性に依存する重要なタスクである。 GEに関連する量の探索において,入力層と最終層との相互情報(MI)について検討する。 MIとGEをリンクするために、既存の入力圧縮ベースのGEバウンドが使用される。
  論文  参考訳（メタデータ） (2022-07-19T17:05:02Z)
• A Uniform Framework for Anomaly Detection in Deep Neural Networks [0.5099811144731619]
  異常入力のクラスを3つ検討する。 1)DNNとは異なる分布からの自然な入力は、OOD(Out-of-Distribution)サンプルとして訓練される。 2) 攻撃者によるIDから生成された入力は、しばしば敵(AD)サンプルとして知られ、(3)無意味なデータから生成されたノイズ(NS)サンプルである。 事前学習したDNNに対して,これらすべての異常を検出することを目的としたフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-06T22:42:30Z)
• Generalizing Neural Networks by Reflecting Deviating Data in Production [15.498447555957773]
  本稿では,DNNに対する予期せぬ実行時入力によるDNNの誤予測を緩和する実行時アプローチを提案する。 我々は,シームズネットワークが学習した距離測定値に基づく分布解析器を用いて,意味的に保存されていない入力を識別する。 我々のアプローチは、これらの予期せぬ入力を、類似のセマンティクスを持つと認識されるトレーニングセットから入力に変換する。
  論文  参考訳（メタデータ） (2021-10-06T13:05:45Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。