論文の概要: Extremely Simple Activation Shaping for Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2209.09858v2
• Date: Mon, 1 May 2023 22:27:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 17:55:20.538393
• Title: Extremely Simple Activation Shaping for Out-of-Distribution Detection
• Title（参考訳）: アウトオブディストリビューション検出のための極端に簡単なアクティベーションシェーピング
• Authors: Andrija Djurisic, Nebojsa Bozanic, Arjun Ashok, Rosanne Liu
• Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、モデルが目に見えない状況に対処する能力をテストする重要な領域である。 既存のOOD検出方法は、追加のトレーニングステップ、追加データ、あるいはトレーニングされたネットワークに非自明な変更を加える。 本稿では, 試料の後期層での活性化の大部分を除去する, 極めて単純で, ホック後のオンザフライ活性化形成法であるASHを提案する。 実験により、このような単純な治療は、最先端のOODを可能にするために、分布内と分布外の違いを高めることが示されている。
• 参考スコア（独自算出の注目度）: 10.539058676970267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The separation between training and deployment of machine learning models implies that not all scenarios encountered in deployment can be anticipated during training, and therefore relying solely on advancements in training has its limits. Out-of-distribution (OOD) detection is an important area that stress-tests a model's ability to handle unseen situations: Do models know when they don't know? Existing OOD detection methods either incur extra training steps, additional data or make nontrivial modifications to the trained network. In contrast, in this work, we propose an extremely simple, post-hoc, on-the-fly activation shaping method, ASH, where a large portion (e.g. 90%) of a sample's activation at a late layer is removed, and the rest (e.g. 10%) simplified or lightly adjusted. The shaping is applied at inference time, and does not require any statistics calculated from training data. Experiments show that such a simple treatment enhances in-distribution and out-of-distribution distinction so as to allow state-of-the-art OOD detection on ImageNet, and does not noticeably deteriorate the in-distribution accuracy. Video, animation and code can be found at: https://andrijazz.github.io/ash
• Abstract（参考訳）: トレーニングと機械学習モデルのデプロイメントの分離は、デプロイメントで遭遇したすべてのシナリオがトレーニング中に予測できるわけではないことを意味するため、トレーニングの進歩のみに依存することが限界となる。 アウト・オブ・ディストリビューション(OOD)検出は、モデルが目に見えない状況に対処する能力をテストする重要な領域である。 既存のOOD検出方法は、追加のトレーニングステップ、追加データ、あるいはトレーニングされたネットワークに非自明な変更を加える。 対照的に,本研究では,試料の後期層での活性化の大部分(例:90%)を除去し,残りの部分(例:10%)を簡易あるいは軽快に調整する,極端に単純でポストホックなオンザフライ活性化成形法であるASHを提案する。 形状は推論時に適用され、トレーニングデータから計算された統計は不要である。 実験により、この単純な処理は、ImageNet上で最先端のOOD検出を可能にするために、分布内および分布外区別を向上し、分布内精度を著しく低下させないことが示された。 ビデオ、アニメーション、コードはこちら。 https://andrijazz.github.io/ash

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Using Semantic Information for Defining and Detecting OOD Inputs [3.9577682622066264]
  アウト・オブ・ディストリビューション(OOD)検出は近年注目されている。 現在の検出器がトレーニングデータセットのバイアスを継承していることを示します。 これにより、現在のOOD検出器はトレーニング分布の外にある入力に不透過であり、同じ意味情報を持つことができる。 我々は,MNISTおよびCOCOデータセットのトレーニングデータから抽出した意味情報に基づいてOOD検出を行う。
  論文  参考訳（メタデータ） (2023-02-21T21:31:20Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Model2Detector:Widening the Information Bottleneck for Out-of-Distribution Detection using a Handful of Gradient Steps [12.263417500077383]
  アウト・オブ・ディストリビューション検出は、長いバニラニューラルネットワークを持つ重要な機能である。 推論時間外分布検出の最近の進歩は、これらの問題のいくつかを緩和するのに役立つ。 提案手法は,一般的な画像データセットにおける検出精度において,常に最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-22T23:03:40Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Deep Active Learning in Remote Sensing for data efficient Change Detection [26.136331738529243]
  本研究では、変化検出とマップ更新のための深層ニューラルネットワークモデルの文脈におけるアクティブラーニングについて検討する。 アクティブな学習では、最小限のトレーニング例から始まり、ユーザによって注釈付けされた情報的サンプルを徐々に選択する。 能動学習は,高い情報的サンプルの発見に成功し,自動的にトレーニング分布のバランスをとることを示す。
  論文  参考訳（メタデータ） (2020-08-25T17:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。