論文の概要: ViM: Out-Of-Distribution with Virtual-logit Matching

• arxiv url: http://arxiv.org/abs/2203.10807v1
• Date: Mon, 21 Mar 2022 08:56:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 01:04:27.590174
• Title: ViM: Out-Of-Distribution with Virtual-logit Matching
• Title（参考訳）: ViM:仮想ロジットマッチングによるアウトオフ配信
• Authors: Haoqi Wang, Zhizhong Li, Litong Feng, Wayne Zhang
• Abstract要約: 我々はVirtual-logit Matching (ViM) という新しいOODスコアリング手法を提案する。 ViMは、特徴空間からのクラスに依存しないスコアと、ID(In-Distribution)クラス依存ロジットを組み合わせる。 私たちは ImageNet-1K 用の新しい OOD データセットを作成します。
• 参考スコア（独自算出の注目度）: 21.788502618384985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most of the existing Out-Of-Distribution (OOD) detection algorithms depend on single input source: the feature, the logit, or the softmax probability. However, the immense diversity of the OOD examples makes such methods fragile. There are OOD samples that are easy to identify in the feature space while hard to distinguish in the logit space and vice versa. Motivated by this observation, we propose a novel OOD scoring method named Virtual-logit Matching (ViM), which combines the class-agnostic score from feature space and the In-Distribution (ID) class-dependent logits. Specifically, an additional logit representing the virtual OOD class is generated from the residual of the feature against the principal space, and then matched with the original logits by a constant scaling. The probability of this virtual logit after softmax is the indicator of OOD-ness. To facilitate the evaluation of large-scale OOD detection in academia, we create a new OOD dataset for ImageNet-1K, which is human-annotated and is 8.8x the size of existing datasets. We conducted extensive experiments, including CNNs and vision transformers, to demonstrate the effectiveness of the proposed ViM score. In particular, using the BiT-S model, our method gets an average AUROC 90.91% on four difficult OOD benchmarks, which is 4% ahead of the best baseline. Code and dataset are available at https://github.com/haoqiwang/vim.
• Abstract（参考訳）: 既存のout-of-distribution(ood)検出アルゴリズムのほとんどは、機能、logit、softmax確率という単一の入力源に依存する。 しかし、OODの例の膨大な多様性は、そのような手法を脆弱にしている。 機能領域では識別が容易なOODサンプルがあるが、ロジット空間では識別が困難であり、その逆もある。 そこで本研究では,特徴空間からのクラスに依存しないスコアと,ID(In-Distribution)クラス依存ロジットを組み合わせた新しいOODスコアリング手法であるVirtual-logit Matching(ViM)を提案する。 具体的には、仮想OODクラスを表す追加のロジットが、主空間に対する機能の残余から生成され、その後、一定のスケーリングによって元のロジットとマッチする。 ソフトマックス後の仮想ロジットの確率は OOD-ness の指標である。 アカデミアにおける大規模OOD検出の容易化を目的として,ImageNet-1K用の新しいOODデータセットを構築した。 提案したViMスコアの有効性を示すために,CNNやビジョントランスフォーマーなど広範な実験を行った。 特に,bit-sモデルを用いた場合,提案手法は4つの難解なoodベンチマークで平均 auroc 90.91% を得る。 コードとデータセットはhttps://github.com/haoqiwang/vimで入手できる。

関連論文リスト

• What If the Input is Expanded in OOD Detection? [77.37433624869857]
  Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。 In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。 入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
  論文  参考訳（メタデータ） (2024-10-24T06:47:28Z)
• Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox [70.57120710151105]
  既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。 いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。 この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-14T09:27:56Z)
• EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
  本稿では,長い尾を持つOOD検出の課題に対処する。 主な困難は、尾クラスに属するサンプルとOODデータを区別することである。 本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:47:13Z)
• Classifier-head Informed Feature Masking and Prototype-based Logit Smoothing for Out-of-Distribution Detection [27.062465089674763]
  ニューラルネットワークを現実世界にデプロイする際には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 1つの大きな課題は、ニューラルネットワークがOODデータに対して過信的な予測をすることです。 本稿では,新しい特徴マスキング戦略と新しいロジット平滑化戦略に基づく,効果的なポストホックOOD検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-27T12:42:17Z)
• From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
  アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。 近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。 グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
  論文  参考訳（メタデータ） (2023-08-20T11:56:25Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。 本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。 本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
  論文  参考訳（メタデータ） (2023-06-06T14:23:34Z)
• Building One-class Detector for Anything: Open-vocabulary Zero-shot OOD Detection Using Text-image Models [23.302018871162186]
  ゼロショット方式でテキスト画像事前学習モデルを利用する新しい1クラスオープンセットOOD検出器を提案する。 提案手法は,ドメイン内でないものを検出し,多様なOODを検出する柔軟性を提供する。 本手法は,すべてのベンチマークにおいて,従来の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-26T18:58:56Z)
• A Simple Test-Time Method for Out-of-Distribution Detection [45.11199798139358]
  本稿では,OOD検出のための簡易なテスト時間線形訓練法を提案する。 分布外である入力画像の確率は、ニューラルネットワークが抽出した特徴と驚くほど線形に相関していることがわかった。 本稿では,提案手法のオンライン版を提案し,実世界のアプリケーションでより実用的な性能を実現する。
  論文  参考訳（メタデータ） (2022-07-17T16:02:58Z)
• OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
  現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。 本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-07-19T15:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。