論文の概要: Interpreting deep learning output for out-of-distribution detection
- arxiv url: http://arxiv.org/abs/2211.03637v1
- Date: Mon, 7 Nov 2022 15:48:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 17:39:31.449981
- Title: Interpreting deep learning output for out-of-distribution detection
- Title（参考訳）: 分散検出のためのディープラーニング出力の解釈
- Authors: Damian Matuszewski, Ida-Maria Sintorn
- Abstract要約: 深層学習ネットワークにおける分布外検出のための新しい手法を開発した。
この方法は、モデル学習プロセスとその出力の理解と解釈への説明的なステップを提供する。
我々は,透過型電子顕微鏡ウイルス画像データセット上でのOOD検出手法を実証した。
- 参考スコア（独自算出の注目度）: 0.6091702876917279
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Commonly used AI networks are very self-confident in their predictions, even
when the evidence for a certain decision is dubious. The investigation of a
deep learning model output is pivotal for understanding its decision processes
and assessing its capabilities and limitations. By analyzing the distributions
of raw network output vectors, it can be observed that each class has its own
decision boundary and, thus, the same raw output value has different support
for different classes. Inspired by this fact, we have developed a new method
for out-of-distribution detection. The method offers an explanatory step beyond
simple thresholding of the softmax output towards understanding and
interpretation of the model learning process and its output. Instead of
assigning the class label of the highest logit to each new sample presented to
the network, it takes the distributions over all classes into consideration. A
probability score interpreter (PSI) is created based on the joint logit values
in relation to their respective correct vs wrong class distributions. The PSI
suggests whether the sample is likely to belong to a specific class, whether
the network is unsure, or whether the sample is likely an outlier or unknown
type for the network. The simple PSI has the benefit of being applicable on
already trained networks. The distributions for correct vs wrong class for each
output node are established by simply running the training examples through the
trained network. We demonstrate our OOD detection method on a challenging
transmission electron microscopy virus image dataset. We simulate a real-world
application in which images of virus types unknown to a trained virus
classifier, yet acquired with the same procedures and instruments, constitute
the OOD samples.
- Abstract（参考訳）: 一般的に使われているAIネットワークは、ある決定の証拠が疑わしいとしても、予測に非常に自信を持っている。
ディープラーニングモデルのアウトプットの調査は、意思決定プロセスを理解し、その能力と限界を評価する上で重要である。
生のネットワーク出力ベクトルの分布を解析することにより、各クラスが独自の決定境界を持ち、同じ生の出力値が異なるクラスに対して異なるサポートを持つことが分かる。
この事実に触発されて,我々は分散検出の新しい手法を開発した。
本手法は、モデル学習過程とその出力の理解及び解釈に向けて、ソフトマックス出力の単純なしきい値を超えた説明ステップを提供する。
ネットワークに提示された各新しいサンプルに、最も高いロジットのクラスラベルを割り当てる代わりに、すべてのクラスにわたる分散を考慮に入れます。
確率スコアインタプリタ(PSI)は、それぞれの正と誤のクラス分布に関する共同ロジット値に基づいて作成される。
PSIは、サンプルが特定のクラスに属する可能性があるか、ネットワークが不確実であるか、サンプルがネットワークの外れやすいか未知のタイプであるかを示唆している。
単純なPSIは、既に訓練済みのネットワークに適用できる利点がある。
トレーニングされたネットワークを介してトレーニング例を実行するだけで、各出力ノードの正しいクラスと間違ったクラスの分布を確立することができる。
我々は,透過型電子顕微鏡ウイルス画像データセットのOOD検出手法を実証した。
我々は、訓練されたウイルス分類器に未知のウイルスのイメージを未知の現実世界のアプリケーションでシミュレートし、同じ手順と機器で取得し、OODサンプルを構成する。
関連論文リスト
- Out-of-Distribution Detection with a Single Unconditional Diffusion Model [54.15132801131365]
アウト・オブ・ディストリビューション(OOD)検出は、異常サンプルを特定しようとする機械学習において重要なタスクである。
従来、教師なし手法はOOD検出に深い生成モデルを用いていた。
本稿では,単一モデルが多様なタスクに対してOOD検出を行うことができるかどうかを考察する。
論文 参考訳（メタデータ） (2024-05-20T08:54:03Z) - Verification of Neural Networks Local Differential Classification
Privacy [1.3024517678456733]
ローカル差分分類プライバシー(LDCP)と呼ばれる新しいプライバシー特性を提案する。
LDCPはローカルロバスト性をブラックボックス分類器に適した差分プライバシー設定に拡張する。
Sphynxは、ネットワークの小さな集合から高い確率で全てのネットワークを抽象化するアルゴリズムである。
論文 参考訳（メタデータ） (2023-10-31T09:11:12Z) - Sampling weights of deep neural networks [1.2370077627846041]
完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。
教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。
サンプルネットワークが普遍近似器であることを証明する。
論文 参考訳（メタデータ） (2023-06-29T10:13:36Z) - Learning versus Refutation in Noninteractive Local Differential Privacy [133.80204506727526]
非対話的局所差分プライバシー(LDP)における2つの基本的な統計課題について検討する。
本研究の主な成果は,非対話型LDPプロトコルにおけるPAC学習の複雑さの完全な評価である。
論文 参考訳（メタデータ） (2022-10-26T03:19:24Z) - Partial and Asymmetric Contrastive Learning for Out-of-Distribution
Detection in Long-Tailed Recognition [80.07843757970923]
既存のOOD検出手法は,トレーニングセットが長距離分布している場合,大幅な性能劣化に悩まされていることを示す。
本稿では,部分的および非対称的な教師付きコントラスト学習(PASCL)を提案する。
我々の手法は従来の最先端の手法を1.29%$, $1.45%$, $0.69%$異常検出偽陽性率(FPR)と$3.24%$, 4,.06%$, 7,89%$in-distributionで上回ります。
論文 参考訳（メタデータ） (2022-07-04T01:53:07Z) - WOOD: Wasserstein-based Out-of-Distribution Detection [6.163329453024915]
ディープ・ニューラル・ネットワークに基づく分類器のトレーニングデータは、通常同じ分布からサンプリングされる。
トレーニングサンプルから遠く離れた分布からテストサンプルの一部を引き出すと、トレーニングされたニューラルネットワークはこれらのOODサンプルに対して高い信頼性の予測を行う傾向にある。
本稿では,これらの課題を克服するため,Wasserstein を用いたアウト・オブ・ディストリビューション検出(WOOD)手法を提案する。
論文 参考訳（メタデータ） (2021-12-13T02:35:15Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳（メタデータ） (2021-08-12T09:14:44Z) - DAAIN: Detection of Anomalous and Adversarial Input using Normalizing
Flows [52.31831255787147]
我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。
本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。
当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
論文 参考訳（メタデータ） (2021-05-30T22:07:13Z) - Multi-Class Data Description for Out-of-distribution Detection [25.853322158250435]
Deep-MCDDは、分布外(OOD)サンプルを検出するだけでなく、分布内(ID)サンプルを分類するのに効果的です。
ガウス微分分析の概念をディープニューラルネットワークに統合することにより,クラス条件分布を学習する深層学習目標を提案する。
論文 参考訳（メタデータ） (2021-04-02T08:41:51Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳（メタデータ） (2020-10-05T22:13:21Z) - Incremental Unsupervised Domain-Adversarial Training of Neural Networks [17.91571291302582]
教師付き統計学習の文脈では通常、トレーニングセットはテストサンプルを描画する同じ分布から来ていると仮定される。
ここでは、モデルが新しいドメインに反復的に適応される段階的な視点から、別の道を選び、問題にアプローチします。
その結果,いくつかのデータセットにおける非増加事例に対する明らかな改善が報告され,他の最先端のドメイン適応アルゴリズムよりも優れていた。
論文 参考訳（メタデータ） (2020-01-13T09:54:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。