論文の概要: Approximations to the Fisher Information Metric of Deep Generative Models for Out-Of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2403.01485v2
- Date: Sat, 25 May 2024 21:47:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 06:45:59.936730
- Title: Approximations to the Fisher Information Metric of Deep Generative Models for Out-Of-Distribution Detection
- Title（参考訳）: 外部分布検出のための深部生成モデルの漁業情報メトリクスの近似
- Authors: Sam Dauncey, Chris Holmes, Christopher Williams, Fabian Falck,
- Abstract要約: 深層生成モデルは、訓練されたデータよりも高いログ類似度をOODデータに対して常に推測することを示す。
我々は,OODデータに対して,トレーニングデータよりも勾配基準が大きいという単純な直観に基づいて,OOD検出のための深部生成モデルのパラメータに関するデータ点の勾配を利用する。
実験結果から,本手法は,ほとんどの深層生成モデルと画像データセットのペアリングにおいて,典型性試験よりも優れていたことが示唆された。
- 参考スコア（独自算出の注目度）: 2.3749120526936465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Likelihood-based deep generative models such as score-based diffusion models and variational autoencoders are state-of-the-art machine learning models approximating high-dimensional distributions of data such as images, text, or audio. One of many downstream tasks they can be naturally applied to is out-of-distribution (OOD) detection. However, seminal work by Nalisnick et al. which we reproduce showed that deep generative models consistently infer higher log-likelihoods for OOD data than data they were trained on, marking an open problem. In this work, we analyse using the gradient of a data point with respect to the parameters of the deep generative model for OOD detection, based on the simple intuition that OOD data should have larger gradient norms than training data. We formalise measuring the size of the gradient as approximating the Fisher information metric. We show that the Fisher information matrix (FIM) has large absolute diagonal values, motivating the use of chi-square distributed, layer-wise gradient norms as features. We combine these features to make a simple, model-agnostic and hyperparameter-free method for OOD detection which estimates the joint density of the layer-wise gradient norms for a given data point. We find that these layer-wise gradient norms are weakly correlated, rendering their combined usage informative, and prove that the layer-wise gradient norms satisfy the principle of (data representation) invariance. Our empirical results indicate that this method outperforms the Typicality test for most deep generative models and image dataset pairings.
- Abstract（参考訳）: スコアベース拡散モデルや変分オートエンコーダのような、ファンデーションベースの深層生成モデルは、画像、テキスト、オーディオなどのデータの高次元分布を近似する最先端の機械学習モデルである。
自然に適用できる多くのダウンストリームタスクの1つは、アウト・オブ・ディストリビューション(OOD)検出である。
しかし,Nalisnickらによる初歩的な研究により,OODデータに対する深い生成モデルは,トレーニングしたデータよりも高いログ類似度を常に推論し,オープンな問題を示すことを示した。
本研究は,OODデータにトレーニングデータよりも勾配基準が大きくなるという単純な直観に基づいて,OOD検出のための深部生成モデルのパラメータに対するデータ点の勾配を用いて解析する。
勾配の大きさをフィッシャー情報量計の近似として定式化する。
本研究では,フィッシャー情報行列 (FIM) が絶対対角値が大きいことを示し,その特徴としてカイ二乗分布の層次勾配ノルムを用いる。
我々はこれらの特徴を組み合わせることで、与えられたデータポイントの層次勾配ノルムの結合密度を推定する、OOD検出のための単純でモデルに依存しないハイパーパラメータフリーな方法を作成する。
これらの層次勾配ノルムは弱い相関関係にあり、それらの組み合わせの利用を情報化し、層次勾配ノルムが(データ表現)不変性の原理を満たすことを証明している。
実験結果から,本手法は,ほとんどの深層生成モデルと画像データセットのペアリングにおいて,典型性試験よりも優れていたことが示唆された。
関連論文リスト
- Deep Metric Learning-Based Out-of-Distribution Detection with Synthetic Outlier Exposure [0.0]
Denoising Diffusion Probabilistic Models (DDPM) を用いたOODデータ生成のためのラベル混合手法を提案する。
実験の結果,メトリック学習に基づく損失関数はソフトマックスよりも優れていた。
提案手法は従来のOOD検出指標において高いベースラインを達成している。
論文 参考訳（メタデータ） (2024-05-01T16:58:22Z) - Optimizing OOD Detection in Molecular Graphs: A Novel Approach with Diffusion Models [71.39421638547164]
本稿では,入力分子と再構成グラフの類似性を比較する補助拡散モデルに基づくフレームワークを用いてOOD分子を検出することを提案する。
IDトレーニングサンプルの再構成に向けた生成バイアスのため、OOD分子の類似度スコアは検出を容易にするためにはるかに低い。
本研究は,PGR-MOOD(PGR-MOOD)とよばれる分子OOD検出のためのプロトタイプグラフ再構成のアプローチを開拓し,3つのイノベーションを生かした。
論文 参考訳（メタデータ） (2024-04-24T03:25:53Z) - GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。
近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。
本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
論文 参考訳（メタデータ） (2024-01-10T08:37:39Z) - GradOrth: A Simple yet Efficient Out-of-Distribution Detection with
Orthogonal Projection of Gradients [24.50445616970387]
オフ・オブ・ディストリビューション(OOD)データは、現実世界のアプリケーションに機械学習モデルの安全なデプロイを保証するために不可欠である。
1つの興味深い観測に基づくOOD検出を容易にするため,GradOrthと呼ばれる新しい手法を提案する。
この単純で効果的な手法は優れた性能を示し、現在の最先端法と比較して95%の真正率(FPR95)で平均偽陽性率の顕著な低下を示す。
論文 参考訳（メタデータ） (2023-08-01T06:12:12Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Watermarking for Out-of-distribution Detection [76.20630986010114]
Out-of-Distribution (OOD) 検出は、よく訓練された深層モデルから抽出された表現に基づいてOODデータを識別することを目的としている。
本稿では,透かしという一般的な手法を提案する。
我々は,元データの特徴に重畳される統一パターンを学習し,ウォーターマーキング後にモデルの検出能力が大きく向上する。
論文 参考訳（メタデータ） (2022-10-27T06:12:32Z) - How Useful are Gradients for OOD Detection Really? [5.459639971144757]
Out of Distribution(OOD)検出は、リアルタイムアプリケーションに高性能な機械学習モデルをデプロイする上で重要な課題である。
OOD検出のための勾配法を詳細に解析し,比較する。
本稿では,OOD検出における性能と計算効率の両面において,従来のベースラインよりも向上した汎用的,非段階的なOOD検出手法を提案する。
論文 参考訳（メタデータ） (2022-05-20T21:10:05Z) - On the Importance of Gradients for Detecting Distributional Shifts in
the Wild [15.548068221414384]
勾配空間から抽出した情報を利用してOOD入力を簡易かつ効果的に検出するGradNormを提案する。
GradNormは優れた性能を示し、FPR95の平均値は以前のベストメソッドに比べて最大10.89%削減された。
論文 参考訳（メタデータ） (2021-10-01T05:19:32Z) - Evaluating State-of-the-Art Classification Models Against Bayes
Optimality [106.50867011164584]
正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。
われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
論文 参考訳（メタデータ） (2021-06-07T06:21:20Z) - Why Normalizing Flows Fail to Detect Out-of-Distribution Data [51.552870594221865]
正規化フローは、イン・オブ・ディストリビューションデータとアウト・オブ・ディストリビューションデータの区別に失敗する。
フローは局所的な画素相関と画像からラテンス空間への変換を学習する。
フロー結合層のアーキテクチャを変更することで、ターゲットデータのセマンティック構造を学ぶためのフローに偏りがあることが示される。
論文 参考訳（メタデータ） (2020-06-15T17:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。