論文の概要: Scaling for Training Time and Post-hoc Out-of-distribution Detection Enhancement

• arxiv url: http://arxiv.org/abs/2310.00227v1
• Date: Sat, 30 Sep 2023 02:10:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 05:54:07.050346
• Title: Scaling for Training Time and Post-hoc Out-of-distribution Detection Enhancement
• Title（参考訳）: トレーニング時間のためのスケーリングと分布外検出の強化
• Authors: Kai Xu, Rongyu Chen, Gianni Franchi, Angela Yao
• Abstract要約: 本稿では,最近の最先端のアウト・オブ・ディストリビューション(OOD)検出手法に関する知見と分析を行う。 我々は,活性化拡大がOOD検出に有害な影響を及ぼす一方で,活性化スケーリングが促進されることを実証した。 OpenOOD v1.5 ImageNet-1Kベンチマークで、AUROCスコアは、近OODでは+1.85%、遠OODデータセットでは+0.74%である。
• 参考スコア（独自算出の注目度）: 41.650761556671775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The capacity of a modern deep learning system to determine if a sample falls within its realm of knowledge is fundamental and important. In this paper, we offer insights and analyses of recent state-of-the-art out-of-distribution (OOD) detection methods - extremely simple activation shaping (ASH). We demonstrate that activation pruning has a detrimental effect on OOD detection, while activation scaling enhances it. Moreover, we propose SCALE, a simple yet effective post-hoc network enhancement method for OOD detection, which attains state-of-the-art OOD detection performance without compromising in-distribution (ID) accuracy. By integrating scaling concepts into the training process to capture a sample's ID characteristics, we propose Intermediate Tensor SHaping (ISH), a lightweight method for training time OOD detection enhancement. We achieve AUROC scores of +1.85\% for near-OOD and +0.74\% for far-OOD datasets on the OpenOOD v1.5 ImageNet-1K benchmark. Our code and models are available at https://github.com/kai422/SCALE.
• Abstract（参考訳）: サンプルが知識領域内にあるかどうかを判断する現代のディープラーニングシステムの能力は、基本的で重要である。 本稿では,最新のood(state-of-the-art out-distribution)検出法 - 極めてシンプルなアクティベーションシェーピング法 (ash) の考察と分析を行う。 我々は,活性化拡大がOOD検出に有害な影響を及ぼす一方で,活性化スケーリングが促進されることを実証した。 また,OOD検出のための簡易かつ効果的なポストホックネットワーク拡張手法であるSCALEを提案し,その精度を損なうことなく,最先端のOOD検出性能を実現する。 サンプルのID特性を捉えるために,スケーリングの概念をトレーニングプロセスに統合することにより,OOD検出強化を訓練するための軽量な方法であるIntermediate Tensor SHaping(ISH)を提案する。 OpenOOD v1.5 ImageNet-1Kベンチマークで、AUROCスコアは、近OODでは+1.85\%、遠OODデータセットでは+0.74\%である。 私たちのコードとモデルはhttps://github.com/kai422/scaleで利用可能です。

関連論文リスト

• SeTAR: Out-of-Distribution Detection with Selective Low-Rank Approximation [5.590633742488972]
  ニューラルネットワークの安全なデプロイには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 トレーニング不要なOOD検出手法であるSeTARを提案する。 SeTARは、単純なグリーディ探索アルゴリズムを用いて、モデルの重量行列のポストホックな修正によるOOD検出を強化する。 私たちの研究は、OOD検出のためのスケーラブルで効率的なソリューションを提供し、この分野で新しい最先端を設定します。
  論文  参考訳（メタデータ） (2024-06-18T13:55:13Z)
• WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
  入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。 我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T13:38:28Z)
• MOODv2: Masked Image Modeling for Out-of-Distribution Detection [57.17163962383442]
  本研究は,様々なOODスコア関数を用いて,個別の事前学習課題について検討する。 当社のフレームワークMOODv2は,14.30%のAUROCをImageNetで95.68%に向上し,CIFAR-10で99.98%を達成した。
  論文  参考訳（メタデータ） (2024-01-05T02:57:58Z)
• HAct: Out-of-Distribution Detection with Neural Net Activation Histograms [7.795929277007233]
  本稿では,OOD検出のための新しい記述子HActを提案する。すなわち,入力データの影響下でのニューラルネットワーク層の出力値の確率分布(ヒストグラムで近似)について述べる。 複数の画像分類ベンチマークにおいて,HActはOOD検出における最先端技術よりもはるかに精度が高いことを示す。
  論文  参考訳（メタデータ） (2023-09-09T16:22:18Z)
• OpenOOD v1.5: Enhanced Benchmark for Out-of-Distribution Detection [82.85303878718207]
  アウト・オブ・ディストリビューション(OOD)検出は、オープンワールド・インテリジェントシステムの信頼性の高い運用に不可欠である。 本稿では,OOD検出手法の精度,標準化,ユーザフレンドリな評価を保証したOpenOOD v1.5を提案する。
  論文  参考訳（メタデータ） (2023-06-15T17:28:00Z)
• AUTO: Adaptive Outlier Optimization for Online Test-Time OOD Detection [81.49353397201887]
  オープンソースアプリケーションに機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 我々は、未ラベルのオンラインデータをテスト時に直接利用してOOD検出性能を向上させる、テスト時OOD検出と呼ばれる新しいパラダイムを導入する。 本稿では,入出力フィルタ,IDメモリバンク,意味的に一貫性のある目的からなる適応外乱最適化(AUTO)を提案する。
  論文  参考訳（メタデータ） (2023-03-22T02:28:54Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• ReAct: Out-of-distribution Detection With Rectified Activations [20.792140933660075]
  オフ・オブ・ディストリビューション (OOD) 検出は, 実用的重要性から近年注目されている。 主な課題の1つは、モデルがしばしばOODデータに対して高い信頼性の予測を生成することである。 我々は,OODデータに対するモデル過信を低減するためのシンプルで効果的な手法であるReActを提案する。
  論文  参考訳（メタデータ） (2021-11-24T21:02:07Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。