論文の概要: Low-Dimensional Gradient Helps Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2310.17163v1
• Date: Thu, 26 Oct 2023 05:28:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 21:51:40.196489
• Title: Low-Dimensional Gradient Helps Out-of-Distribution Detection
• Title（参考訳）: 低次元勾配は分布外検出に役立つ
• Authors: Yingwen Wu, Tao Li, Xinwen Cheng, Jie Yang, Xiaolin Huang
• Abstract要約: OOD検出における勾配情報全体の活用を総合的に検討する。 主な課題は、ネットワークパラメータの多さによる勾配の高次元性から生じる。 指定された部分空間を用いて勾配の線形次元削減を行う。 この革新的な手法により、情報損失を最小限に抑えた勾配の低次元表現が得られる。
• 参考スコア（独自算出の注目度）: 28.14829623248641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting out-of-distribution (OOD) samples is essential for ensuring the reliability of deep neural networks (DNNs) in real-world scenarios. While previous research has predominantly investigated the disparity between in-distribution (ID) and OOD data through forward information analysis, the discrepancy in parameter gradients during the backward process of DNNs has received insufficient attention. Existing studies on gradient disparities mainly focus on the utilization of gradient norms, neglecting the wealth of information embedded in gradient directions. To bridge this gap, in this paper, we conduct a comprehensive investigation into leveraging the entirety of gradient information for OOD detection. The primary challenge arises from the high dimensionality of gradients due to the large number of network parameters. To solve this problem, we propose performing linear dimension reduction on the gradient using a designated subspace that comprises principal components. This innovative technique enables us to obtain a low-dimensional representation of the gradient with minimal information loss. Subsequently, by integrating the reduced gradient with various existing detection score functions, our approach demonstrates superior performance across a wide range of detection tasks. For instance, on the ImageNet benchmark, our method achieves an average reduction of 11.15% in the false positive rate at 95% recall (FPR95) compared to the current state-of-the-art approach. The code would be released.
• Abstract（参考訳）: 現実世界のシナリオにおいて、ディープニューラルネットワーク(DNN)の信頼性を確保するためには、OODサンプルの検出が不可欠である。 先行研究は,情報分析による内分布(id)とoodデータとの差を主に研究してきたが,dnnの逆行過程におけるパラメータ勾配の差は注目されていない。 勾配の相違に関する既存の研究は主に勾配標準の利用に焦点を当て、勾配方向に埋め込まれた情報の富を無視している。 本稿では,このギャップを埋めるため,OOD検出のための勾配情報全体の活用を包括的に検討する。 主な課題は、ネットワークパラメータの多さによる勾配の高次元性から生じる。 この問題を解決するために,主成分を含む指定された部分空間を用いて勾配の線形次元削減を行う。 この革新的な手法により、情報損失を最小限に抑えた低次元勾配表現が得られる。 その後,既存の各種検出スコア関数に縮小勾配を統合することにより,幅広い検出タスクにおいて優れた性能を示す。 例えば、ImageNetベンチマークでは、現在の最先端手法と比較して、95%リコール(FPR95)における偽陽性率の平均11.15%の削減を実現している。 コードはリリースされます。

関連論文リスト

• Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning [52.06176253457522]
  本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。 CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-18T13:13:09Z)
• Can Forward Gradient Match Backpropagation? [2.875726839945885]
  フォワードグラディエントはニューラルネットワークトレーニングに有効であることが示されている。 我々は、小さな局所的な補助ネットワークから得られるフィードバックなど、より有望な方向の勾配推定を強く偏り付けることを提案する。 局所損失から得られた勾配を候補方向として用いた場合,前方勾配法におけるランダムノイズを大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2023-06-12T08:53:41Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Subspace Modeling for Fast Out-Of-Distribution and Anomaly Detection [5.672132510411465]
  本稿では、ディープニューラルネットワーク(DNN)における異常および分布外サンプルを検出するための原則的アプローチを提案する。 本稿では,DNN が生成する意味的特徴に対する線形統計量次元削減手法の適用を提案する。 高次元空間における原特徴と低次元縮小埋め込みの前像との差の$ell$-normの「機能再構成誤差」(FRE)はOODと異常検出に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-20T00:55:20Z)
• On the Importance of Gradients for Detecting Distributional Shifts in the Wild [15.548068221414384]
  勾配空間から抽出した情報を利用してOOD入力を簡易かつ効果的に検出するGradNormを提案する。 GradNormは優れた性能を示し、FPR95の平均値は以前のベストメソッドに比べて最大10.89%削減された。
  論文  参考訳（メタデータ） (2021-10-01T05:19:32Z)
• Densely Nested Top-Down Flows for Salient Object Detection [137.74130900326833]
  本稿では,物体検出におけるトップダウンモデリングの役割を再考する。 密度の高いトップダウンフロー(DNTDF)ベースのフレームワークを設計する。 DNTDFのすべての段階において、高いレベルの特徴はプログレッシブ圧縮ショートカットパス(PCSP)を介して読み込まれる。
  論文  参考訳（メタデータ） (2021-02-18T03:14:02Z)
• Dynamically Sampled Nonlocal Gradients for Stronger Adversarial Attacks [3.055601224691843]
  深層ニューラルネットワークの脆弱性は、小さな、さらには知覚不能な摂動にも影響し、ディープラーニング研究の中心的なトピックとなっている。 脆弱性防御機構として動的に動的に非局所グラディエント蛍光(DSNGD)を提案する。 DSNGDベースの攻撃は平均35%高速であり、勾配降下型攻撃よりも0.9%から27.1%高い成功率を示した。
  論文  参考訳（メタデータ） (2020-11-05T08:55:24Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• Progressively Guided Alternate Refinement Network for RGB-D Salient Object Detection [63.18846475183332]
  我々は,RGB-Dの高次物体検出のための効率的かつコンパクトなディープネットワークを開発することを目指している。 そこで本研究では,改良のための改良ネットワークを提案する。 我々のモデルは、既存の最先端のアプローチよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-08-17T02:55:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。