論文の概要: A Mixture of Exemplars Approach for Efficient Out-of-Distribution Detection with Foundation Models

• arxiv url: http://arxiv.org/abs/2311.17093v5
• Date: Sat, 08 Mar 2025 00:58:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:43:14.289465
• Title: A Mixture of Exemplars Approach for Efficient Out-of-Distribution Detection with Foundation Models
• Title（参考訳）: ファウンデーションモデルを用いた効率的なアウト・オブ・ディストリビューション検出のための経験的アプローチの混合
• Authors: Evelyn Mannix, Howard Bondell,
• Abstract要約: 本稿では, 高品質で凍結, 事前訓練された基礎モデルを用いて, トレーニングの利点を最大化するためのOOD検出への効率的なアプローチを提案する。 MoLARは、OODの例と例の類似性だけを比較すると、強力なOODパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: One of the early weaknesses identified in deep neural networks trained for image classification tasks was their inability to provide low confidence predictions on out-of-distribution (OOD) data that was significantly different from the in-distribution (ID) data used to train them. Representation learning, where neural networks are trained in specific ways that improve their ability to detect OOD examples, has emerged as a promising solution. However, these approaches require long training times and can add additional overhead to detect OOD examples. Recent developments in Vision Transformer (ViT) foundation models$\unicode{x2013}$large networks trained on large and diverse datasets with self-supervised approaches$\unicode{x2013}$also show strong performance in OOD detection, and could address these challenges. This paper presents Mixture of Exemplars (MoLAR), an efficient approach to tackling OOD detection challenges that is designed to maximise the benefit of training a classifier with a high quality, frozen, pretrained foundation model backbone. MoLAR provides strong OOD performance when only comparing the similarity of OOD examples to the exemplars, a small set of images chosen to be representative of the dataset, leading to up to 30 times faster OOD detection inference over other methods that provide best performance when the full ID dataset is used. In some cases, only using these exemplars actually improves performance with MoLAR. Extensive experiments demonstrate the improved OOD detection performance of MoLAR in comparison to comparable approaches in both supervised and semi-supervised settings, and code is available at github.com/emannix/molar-mixture-of-exemplars.
• Abstract（参考訳）: 画像分類タスクのために訓練されたディープニューラルネットワークで特定された初期の弱点の1つは、トレーニングに使用される分布内(ID)データと大きく異なる、分布外(OOD)データに対する信頼性の低い予測を提供することができないことである。 表現学習(representation learning)は、ニューラルネットワークがOODサンプルの検出能力を改善する特定の方法で訓練される、有望なソリューションとして登場したものだ。 しかし、これらのアプローチは長いトレーニング時間を必要とし、OODの例を検出するための追加のオーバーヘッドを追加することができる。 Vision Transformer (ViT) ファンデーションモデル$\unicode{x2013}$large network training on large and various dataset with self-supervised approach$\unicode{x2013}$ also show strong performance in OOD detection。 本稿では,OOD検出問題に対処する効果的な手法であるMixture of Exemplars(MoLAR)について述べる。 MoLARは、OODサンプルと例の類似性のみを比較して、データセットを表すために選択された小さなイメージセットであるOODのパフォーマンスを、完全なIDデータセットを使用する場合の最高のパフォーマンスを提供する他のメソッドよりも最大30倍高速なOOD検出推論を実現する。 場合によっては、これらの例を使用するだけで、実際にMoLARのパフォーマンスが向上する。 大規模な実験では、教師付き設定と半教師付き設定の両方で同等のアプローチと比較して、MoLARのOOD検出性能が向上し、github.com/emannix/molar-mixture-of-exemplarsでコードが利用できる。

関連論文リスト

• WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
  入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。 我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T13:38:28Z)
• EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
  本稿では,長い尾を持つOOD検出の課題に対処する。 主な困難は、尾クラスに属するサンプルとOODデータを区別することである。 本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:47:13Z)
• Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
  PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。 特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。 本稿では,大規模事前学習モデルに対する一意な解を提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:01:00Z)
• From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
  アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。 近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。 グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
  論文  参考訳（メタデータ） (2023-08-20T11:56:25Z)
• Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。 本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。 本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
  論文  参考訳（メタデータ） (2023-06-06T14:23:34Z)
• Effective Robustness against Natural Distribution Shifts for Models with Different Training Data [113.21868839569]
  効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。 異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-02-02T19:28:41Z)
• A Simple Test-Time Method for Out-of-Distribution Detection [45.11199798139358]
  本稿では,OOD検出のための簡易なテスト時間線形訓練法を提案する。 分布外である入力画像の確率は、ニューラルネットワークが抽出した特徴と驚くほど線形に相関していることがわかった。 本稿では,提案手法のオンライン版を提案し,実世界のアプリケーションでより実用的な性能を実現する。
  論文  参考訳（メタデータ） (2022-07-17T16:02:58Z)
• No True State-of-the-Art? OOD Detection Methods are Inconsistent across Datasets [69.725266027309]
  アウト・オブ・ディストリビューション検出は、信頼できるMLシステムの重要なコンポーネントである。 本研究では,これらの手法が16対の標準セット上でのOOD検出よりも本質的に優れていることを示す。 また、ある(ID, OOD)ペアにおいて他の(ID, OOD)ペアよりも優れる手法は、低データ方式ではそうしない可能性があることを示す。
  論文  参考訳（メタデータ） (2021-09-12T16:35:00Z)
• OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
  現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。 本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-07-19T15:46:38Z)
• EARLIN: Early Out-of-Distribution Detection for Resource-efficient Collaborative Inference [4.826988182025783]
  協調推論により、リソース制約のあるエッジデバイスは、入力をサーバにアップロードすることで推論を行うことができる。 このセットアップは、成功した推論のためにコスト効率よく機能するが、モデルがトレーニングされていない入力サンプルに直面すると、非常にパフォーマンスが低下する。 我々は,事前訓練されたCNNモデルの浅い層から重要な特徴を抽出する,新しい軽量OOD検出手法を提案する。
  論文  参考訳（メタデータ） (2021-06-25T18:43:23Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。