Fugu-MT 論文翻訳(概要): On the Importance of Gradients for Detecting Distributional Shifts in the Wild

論文の概要: On the Importance of Gradients for Detecting Distributional Shifts in the Wild

arxiv url: http://arxiv.org/abs/2110.00218v1
Date: Fri, 1 Oct 2021 05:19:32 GMT
ステータス: 処理完了
システム内更新日: 2021-10-04 14:31:23.192792
Title: On the Importance of Gradients for Detecting Distributional Shifts in the Wild
Title（参考訳）: 野生における分布変化の検出における勾配の重要性について
Authors: Rui Huang, Andrew Geng, Yixuan Li
Abstract要約: 勾配空間から抽出した情報を利用してOOD入力を簡易かつ効果的に検出するGradNormを提案する。 GradNormは優れた性能を示し、FPR95の平均値は以前のベストメソッドに比べて最大10.89%削減された。
参考スコア（独自算出の注目度）: 15.548068221414384
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Detecting out-of-distribution (OOD) data has become a critical component in ensuring the safe deployment of machine learning models in the real world. Existing OOD detection approaches primarily rely on the output or feature space for deriving OOD scores, while largely overlooking information from the gradient space. In this paper, we present GradNorm, a simple and effective approach for detecting OOD inputs by utilizing information extracted from the gradient space. GradNorm directly employs the vector norm of gradients, backpropagated from the KL divergence between the softmax output and a uniform probability distribution. Our key idea is that the magnitude of gradients is higher for in-distribution (ID) data than that for OOD data, making it informative for OOD detection. GradNorm demonstrates superior performance, reducing the average FPR95 by up to 10.89% compared to the previous best method.
Abstract（参考訳）: オフ・オブ・ディストリビューション(OOD)データの検出は、機械学習モデルを現実世界に安全にデプロイする上で重要な要素となっている。既存のOOD検出手法は主にOODスコアを導出する出力空間や特徴空間に依存し、勾配空間から情報を見渡す。本稿では,勾配空間から抽出した情報を利用してOOD入力を簡易かつ効果的に検出するGradNormを提案する。 GradNormは、ソフトマックス出力と一様確率分布の間のKL分散から逆伝播する勾配のベクトルノルムを直接用いている。鍵となる考え方は、OODデータよりも、IDデータでは勾配の規模が大きくなるということであり、OOD検出には有益であるということです。 GradNormは優れた性能を示し、FPR95の平均値は以前のベストメソッドに比べて最大10.89%削減された。

関連論文リスト

Approximations to the Fisher Information Metric of Deep Generative Models for Out-Of-Distribution Detection [2.3749120526936465]
深層生成モデルは、訓練されたデータよりも高いログ類似度をOODデータに対して常に推測することを示す。我々は,OODデータに対して,トレーニングデータよりも勾配基準が大きいという単純な直観に基づいて,OOD検出のための深部生成モデルのパラメータに関するデータ点の勾配を利用する。実験結果から,本手法は,ほとんどの深層生成モデルと画像データセットのペアリングにおいて,典型性試験よりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-03-03T11:36:35Z)
GROOD: GRadient-aware Out-Of-Distribution detection in interpolated manifolds [12.727088216619386]
ディープニューラルネットワーク(DNN)におけるアウト・オブ・ディストリビューション検出は、現実世界のデプロイメントにおいてリスクを引き起こす可能性がある。グラディエント・アウェア・アウトオフ・ディストリビューション検出を導入。ネイティブ多様体(Internative manifold, GROOD)は、勾配空間の識別力に依存する新しいフレームワークである。 GRODが最先端のベースラインの確立された堅牢性を上回ることを示す。
論文参考訳（メタデータ） (2023-12-22T04:28:43Z)
EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。主な困難は、尾クラスに属するサンプルとOODデータを区別することである。本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文参考訳（メタデータ） (2023-12-14T13:47:13Z)
Low-Dimensional Gradient Helps Out-of-Distribution Detection [26.237034426573523]
OOD検出における勾配情報全体の活用を総合的に検討する。主な課題は、ネットワークパラメータの多さによる勾配の高次元性から生じる。指定された部分空間を用いて勾配の線形次元削減を行う。この革新的な手法により、情報損失を最小限に抑えた勾配の低次元表現が得られる。
論文参考訳（メタデータ） (2023-10-26T05:28:32Z)
GradOrth: A Simple yet Efficient Out-of-Distribution Detection with Orthogonal Projection of Gradients [24.50445616970387]
オフ・オブ・ディストリビューション(OOD)データは、現実世界のアプリケーションに機械学習モデルの安全なデプロイを保証するために不可欠である。 1つの興味深い観測に基づくOOD検出を容易にするため,GradOrthと呼ばれる新しい手法を提案する。この単純で効果的な手法は優れた性能を示し、現在の最先端法と比較して95%の真正率(FPR95)で平均偽陽性率の顕著な低下を示す。
論文参考訳（メタデータ） (2023-08-01T06:12:12Z)
Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文参考訳（メタデータ） (2023-02-06T16:38:43Z)
GOOD-D: On Unsupervised Graph Out-Of-Distribution Detection [67.90365841083951]
我々は,OODグラフを検出するための新しいグラフコントラスト学習フレームワークGOOD-Dを開発した。 GOOD-Dは、潜在IDパターンをキャプチャし、異なる粒度のセマンティック不整合に基づいてOODグラフを正確に検出することができる。教師なしグラフレベルのOOD検出における先駆的な研究として,提案手法と最先端手法を比較した総合的なベンチマークを構築した。
論文参考訳（メタデータ） (2022-11-08T12:41:58Z)
How Useful are Gradients for OOD Detection Really? [5.459639971144757]
Out of Distribution(OOD)検出は、リアルタイムアプリケーションに高性能な機械学習モデルをデプロイする上で重要な課題である。 OOD検出のための勾配法を詳細に解析し,比較する。本稿では,OOD検出における性能と計算効率の両面において,従来のベースラインよりも向上した汎用的,非段階的なOOD検出手法を提案する。
論文参考訳（メタデータ） (2022-05-20T21:10:05Z)
Exploring Covariate and Concept Shift for Detection and Calibration of Out-of-Distribution Data [77.27338842609153]
キャラクタリゼーションにより、OODデータの検出と信頼性校正には、それぞれのシフトに対する感度が重要であることが明らかになった。分布内データのみを用いて両シフトでのOOD検出を改善するために,幾何学的に着想を得た手法を提案する。我々は,OOD検出とキャリブレーションの両面で,異なるタイプのシフトの下でうまく機能する手法を最初に提案する。
論文参考訳（メタデータ） (2021-10-28T15:42:55Z)
ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。 ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-06-26T20:58:05Z)
Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。