論文の概要: RankFeat&RankWeight: Rank-1 Feature/Weight Removal for Out-of-distribution Detection

• arxiv url: http://arxiv.org/abs/2311.13959v2
• Date: Mon, 27 Nov 2023 09:47:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 11:51:31.819129
• Title: RankFeat&RankWeight: Rank-1 Feature/Weight Removal for Out-of-distribution Detection
• Title（参考訳）: RankFeat&Rank Weight: Rank-1 Feature/Weight removal for Out-of-distriion Detection
• Authors: Yue Song, Nicu Sebe, Wei Wang
• Abstract要約: textttRankFeatは、最先端のパフォーマンスを実現し、平均偽陽性率(FPR95)を17.90%削減する。 単一の深層パラメータ行列からランク1重みを除去するtextttRankWeightを提案する。
• 参考スコア（独自算出の注目度）: 74.48870221803242
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The task of out-of-distribution (OOD) detection is crucial for deploying machine learning models in real-world settings. In this paper, we observe that the singular value distributions of the in-distribution (ID) and OOD features are quite different: the OOD feature matrix tends to have a larger dominant singular value than the ID feature, and the class predictions of OOD samples are largely determined by it. This observation motivates us to propose \texttt{RankFeat}, a simple yet effective \emph{post hoc} approach for OOD detection by removing the rank-1 matrix composed of the largest singular value and the associated singular vectors from the high-level feature. \texttt{RankFeat} achieves \emph{state-of-the-art} performance and reduces the average false positive rate (FPR95) by 17.90\% compared with the previous best method. The success of \texttt{RankFeat} motivates us to investigate whether a similar phenomenon would exist in the parameter matrices of neural networks. We thus propose \texttt{RankWeight} which removes the rank-1 weight from the parameter matrices of a single deep layer. Our \texttt{RankWeight}is also \emph{post hoc} and only requires computing the rank-1 matrix once. As a standalone approach, \texttt{RankWeight} has very competitive performance against other methods across various backbones. Moreover, \texttt{RankWeight} enjoys flexible compatibility with a wide range of OOD detection methods. The combination of \texttt{RankWeight} and \texttt{RankFeat} refreshes the new \emph{state-of-the-art} performance, achieving the FPR95 as low as 16.13\% on the ImageNet-1k benchmark. Extensive ablation studies and comprehensive theoretical analyses are presented to support the empirical results.
• Abstract（参考訳）: out-of-distribution(ood)検出のタスクは、実際の環境で機械学習モデルをデプロイする上で非常に重要です。 本稿では,in-distribution (id) と ood の特徴の特異値分布がかなり異なることを観察する。 ood 特徴行列は id 特徴よりも支配的特異値が大きい傾向にあり,ood サンプルのクラス予測はそれらによって決定される。 この観察は、最大特異値と関連する特異ベクトルからなるランク1行列を高次特徴量から取り除き、OOD検出のための単純で効果的な \emph{post hoc} アプローチである \texttt{RankFeat} を提案する動機付けとなる。 texttt{RankFeat} は \emph{state-of-the-art} のパフォーマンスを達成し、以前のベストメソッドと比較して平均偽陽性率 (FPR95) を 17.90 % 削減する。 texttt{RankFeat} の成功は、ニューラルネットワークのパラメータ行列に同様の現象が存在するかどうかを調べる動機となる。 そこで我々は,1つの深層パラメータ行列からランク1重みを除去する‘texttt{RankWeight} を提案する。 我々の \texttt{RankWeight} もまた \emph{post hoc} であり、ランク1行列を一度だけ計算する必要がある。 スタンドアロンのアプローチとして、 \texttt{RankWeight} は様々なバックボーンにわたる他のメソッドと非常に競合するパフォーマンスを持つ。 さらに \texttt{RankWeight} は、幅広い OOD 検出方法との柔軟な互換性を享受しています。 texttt{rankweight} と \texttt{rankfeat} の組み合わせは、新しい \emph{state-of-the-art} のパフォーマンスをリフレッシュし、imagenet-1k ベンチマークで fpr95 を 16.13\% まで低くした。 実験結果を支持するために,広範囲なアブレーション研究と包括的理論解析を行った。

関連論文リスト

• SeTAR: Out-of-Distribution Detection with Selective Low-Rank Approximation [5.590633742488972]
  ニューラルネットワークの安全なデプロイには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 トレーニング不要なOOD検出手法であるSeTARを提案する。 SeTARは、単純なグリーディ探索アルゴリズムを用いて、モデルの重量行列のポストホックな修正によるOOD検出を強化する。 私たちの研究は、OOD検出のためのスケーラブルで効率的なソリューションを提供し、この分野で新しい最先端を設定します。
  論文  参考訳（メタデータ） (2024-06-18T13:55:13Z)
• Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
  我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。 Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。 複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:00:47Z)
• Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
  低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。 低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。 簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-10T17:06:41Z)
• Precise Benchmarking of Explainable AI Attribution Methods [0.0]
  本稿では,最新のXAI属性手法のベンチマークのための新しい評価手法を提案する。 提案手法は, 基礎的真理の説明を伴う合成分類モデルから成り立っている。 実験の結果, Guided-Backprop 法と Smoothgrad XAI 法の性能に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2023-08-06T17:03:32Z)
• RankFeat: Rank-1 Feature Removal for Out-of-distribution Detection [65.67315418971688]
  textttRankFeat は OOD 検出のためのシンプルだが効果的な textttpost hoc アプローチである。 textttRankFeatは、Emphstate-of-the-artパフォーマンスを実現し、以前のベストメソッドと比較して平均偽陽性率(FPR95)を17.90%削減する。
  論文  参考訳（メタデータ） (2022-09-18T16:01:31Z)
• Partial and Asymmetric Contrastive Learning for Out-of-Distribution Detection in Long-Tailed Recognition [80.07843757970923]
  既存のOOD検出手法は,トレーニングセットが長距離分布している場合,大幅な性能劣化に悩まされていることを示す。 本稿では,部分的および非対称的な教師付きコントラスト学習(PASCL)を提案する。 我々の手法は従来の最先端の手法を1.29%$, $1.45%$, $0.69%$異常検出偽陽性率(FPR)と$3.24%$, 4,.06%$, 7,89%$in-distributionで上回ります。
  論文  参考訳（メタデータ） (2022-07-04T01:53:07Z)
• Full-Spectrum Out-of-Distribution Detection [42.98617540431124]
  両シフトタイプを考慮し、フルスペクトルOOD(FS-OOD)検出を導入する。 本稿では,単純な特徴に基づくセマンティックススコア関数であるSEMを提案する。 SEMは現在の最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2022-04-11T17:59:14Z)
• Monarch: Expressive Structured Matrices for Efficient and Accurate Training [64.6871423399431]
  大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。 計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。 ハードウェア効率のよい行列(Monarch)のクラスを提案する。
  論文  参考訳（メタデータ） (2022-04-01T17:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。