論文の概要: RankFeat: Rank-1 Feature Removal for Out-of-distribution Detection

• arxiv url: http://arxiv.org/abs/2209.08590v1
• Date: Sun, 18 Sep 2022 16:01:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 16:41:20.348940
• Title: RankFeat: Rank-1 Feature Removal for Out-of-distribution Detection
• Title（参考訳）: RankFeat: アウト・オブ・ディストリビューション検出のための Rank-1 特徴除去
• Authors: Yue Song, Nicu Sebe, Wei Wang
• Abstract要約: textttRankFeat は OOD 検出のためのシンプルだが効果的な textttpost hoc アプローチである。 textttRankFeatは、Emphstate-of-the-artパフォーマンスを実現し、以前のベストメソッドと比較して平均偽陽性率(FPR95)を17.90%削減する。
• 参考スコア（独自算出の注目度）: 65.67315418971688
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The task of out-of-distribution (OOD) detection is crucial for deploying machine learning models in real-world settings. In this paper, we observe that the singular value distributions of the in-distribution (ID) and OOD features are quite different: the OOD feature matrix tends to have a larger dominant singular value than the ID feature, and the class predictions of OOD samples are largely determined by it. This observation motivates us to propose \texttt{RankFeat}, a simple yet effective \texttt{post hoc} approach for OOD detection by removing the rank-1 matrix composed of the largest singular value and the associated singular vectors from the high-level feature (\emph{i.e.,} $\mathbf{X}{-} \mathbf{s}_{1}\mathbf{u}_{1}\mathbf{v}_{1}^{T}$). \texttt{RankFeat} achieves the \emph{state-of-the-art} performance and reduces the average false positive rate (FPR95) by 17.90\% compared with the previous best method. Extensive ablation studies and comprehensive theoretical analyses are presented to support the empirical results.
• Abstract（参考訳）: out-of-distribution(ood)検出のタスクは、実際の環境で機械学習モデルをデプロイする上で非常に重要です。 本稿では,in-distribution (id) と ood の特徴の特異値分布がかなり異なることを観察する。 ood 特徴行列は id 特徴よりも支配的特異値が大きい傾向にあり,ood サンプルのクラス予測はそれらによって決定される。 この観測は、最高特異値とそれに関連する特異ベクトルからなるランク1行列を高次特徴量から除去することで、OOD検出のための単純で効果的な \texttt{RankFeat} アプローチである \texttt{RankFeat} を提案する(つまり、$\mathbf{X}{-} \mathbf{s}_{1}\mathbf{u}_{1}\mathbf{v}_{1}^{T}$)。 texttt{RankFeat} は \emph{state-of-the-art} のパフォーマンスを達成し、前のベストメソッドと比較して平均偽陽性率 (FPR95) を 17.90 % 削減する。 実験結果を支持するために,広範囲なアブレーション研究と包括的理論解析を行った。

関連論文リスト

• ConjNorm: Tractable Density Estimation for Out-of-Distribution Detection [41.41164637577005]
  ポストホックアウト・オブ・ディストリビューション(OOD)検出は、信頼性の高い機械学習において大きな注目を集めている。 本稿では,密度に基づくスコア設計の統一的な視点を提供するために,Bregmanの発散に基づく理論的枠組みを提案する。 我々は,提案するtextscConjNormが,様々なOOD検出設定において,新たな最先端技術を確立したことを示す。
  論文  参考訳（メタデータ） (2024-02-27T21:02:47Z)
• EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
  本稿では,長い尾を持つOOD検出の課題に対処する。 主な困難は、尾クラスに属するサンプルとOODデータを区別することである。 本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:47:13Z)
• Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
  我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。 Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。 複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:00:47Z)
• RankFeat&RankWeight: Rank-1 Feature/Weight Removal for Out-of-distribution Detection [74.48870221803242]
  textttRankFeatは、最先端のパフォーマンスを実現し、平均偽陽性率(FPR95)を17.90%削減する。 単一の深層パラメータ行列からランク1重みを除去するtextttRankWeightを提案する。
  論文  参考訳（メタデータ） (2023-11-23T12:17:45Z)
• Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
  低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。 低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。 簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-10T17:06:41Z)
• Partial and Asymmetric Contrastive Learning for Out-of-Distribution Detection in Long-Tailed Recognition [80.07843757970923]
  既存のOOD検出手法は,トレーニングセットが長距離分布している場合,大幅な性能劣化に悩まされていることを示す。 本稿では,部分的および非対称的な教師付きコントラスト学習(PASCL)を提案する。 我々の手法は従来の最先端の手法を1.29%$, $1.45%$, $0.69%$異常検出偽陽性率(FPR)と$3.24%$, 4,.06%$, 7,89%$in-distributionで上回ります。
  論文  参考訳（メタデータ） (2022-07-04T01:53:07Z)
• RODD: A Self-Supervised Approach for Robust Out-of-Distribution Detection [12.341250124228859]
  本稿では,分散データセットに依存しない簡易かつ効果的なOOD検出手法を提案する。 提案手法は, コンパクトな低次元空間上に埋没するトレーニングサンプルの自己教師型特徴学習に依存する。 自己教師付きコントラスト学習を用いた事前学習モデルでは、潜伏空間における一次元特徴学習のより良いモデルが得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-06T03:05:58Z)
• Training OOD Detectors in their Natural Habitats [31.565635192716712]
  アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。 近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。 我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T15:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。