論文の概要: Exploring Simple, High Quality Out-of-Distribution Detection with L2 Normalization

• arxiv url: http://arxiv.org/abs/2306.04072v3
• Date: Sat, 21 Oct 2023 19:32:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 08:51:33.716474
• Title: Exploring Simple, High Quality Out-of-Distribution Detection with L2 Normalization
• Title（参考訳）: L2正規化による簡易・高品質分布検出の探索
• Authors: Jarrod Haas, William Yolland, Bernhard Rabus
• Abstract要約: 特徴空間上のL2正規化は、OoD(Out-of-Distribution)検出の競合結果をもたらすことを示す。 提案手法は,CE損失最小化によるニューラル・コラプス(NC)制約から特徴ノルムを分離するものであることを理論的,実証的に示す。
• 参考スコア（独自算出の注目度）: 0.5461938536945723
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We demonstrate that L2 normalization over feature space--an extremely simple method requiring no additional training strategies, hyperparameters, specialized loss functions or image augmentation--can produce competitive results for Out-of-Distribution (OoD) detection with a fraction of the training time (60 epochs with ResNet18, 100 epochs with ResNet50) required by more sophisticated methods. We show theoretically and empirically that our simple method decouples feature norms from the Neural Collapse (NC) constraints imposed by CE loss minimization. This decoupling preserves more feature-level information than a standard CE loss training regime, and allows greater separability between ID norms and near-OoD or far-OoD norms. Our goal is to provide insight toward fundamental, model-based approaches to OoD detection, with less reliance on external factors such as hyperparameter tuning or specialized training regimes. We suggest that L2 normalization provides a collection of benefits large enough to warrant consideration as a standard architecture choice.
• Abstract（参考訳）: 特徴空間上のL2正規化 - 追加のトレーニング戦略、ハイパーパラメータ、特殊損失関数、画像拡張を必要としない非常に単純な手法 - は、より高度な手法で要求されるトレーニング時間(ResNet18で60時間、ResNet50で100時間)のごく一部で、アウト・オブ・ディストリビューション(OoD)検出の競合結果を生成することができる。 我々は,ce損失最小化によって課される神経崩壊(nc)の制約から特徴ノルムを分離する手法を理論的に経験的に示す。 このデカップリングは、標準的なCEロストレーニングシステムよりも機能レベルの情報を保存し、IDノルムと近OODまたは遠OODノルムとの分離性を高める。 我々の目標は、ハイパーパラメータチューニングや特別なトレーニング体制といった外部要因に依存しない、OoD検出に対する基本的なモデルベースのアプローチに対する洞察を提供することです。 我々は、L2正規化が標準アーキテクチャの選択として考慮すべき大きなメリットの集合を提供することを提案する。

関連論文リスト

• Pedestrian Attribute Recognition: A New Benchmark Dataset and A Large Language Model Augmented Framework [15.991114464911844]
  過去5年間で、大規模なデータセットは公開されていない。 本稿では,大規模・クロスドメインな歩行者属性認識データセット MSP60K を提案する。 8つのシナリオにまたがる60,122のイメージと57の属性アノテーションで構成されている。
  論文  参考訳（メタデータ） (2024-08-19T06:19:31Z)
• Raising the Bar of AI-generated Image Detection with CLIP [50.345365081177555]
  本研究の目的は、AI生成画像の普遍的検出のための事前学習された視覚言語モデル(VLM)の可能性を探ることである。 我々は,CLIP機能に基づく軽量な検出戦略を開発し,その性能を様々な難易度シナリオで検証する。
  論文  参考訳（メタデータ） (2023-11-30T21:11:20Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• Memory-Efficient Graph Convolutional Networks for Object Classification and Detection with Event Cameras [2.3311605203774395]
  グラフ畳み込みネットワーク(GCN)は、イベントデータを解析するための有望なアプローチである。 本稿では,満足度の高い結果と比較的低いモデル複雑性を達成するために,両要因を共に検討する。 その結果,特徴抽出モジュールのパラメータ数を450倍に減らし,データ表現のサイズを4.5倍に減らした。
  論文  参考訳（メタデータ） (2023-07-26T11:44:44Z)
• A Faster, Lighter and Stronger Deep Learning-Based Approach for Place Recognition [7.9400442516053475]
  より速く、より軽く、より強力なアプローチを提案し、より少ないパラメータでモデルを生成でき、推論段階での時間を短縮できる。 本稿では,RepVG-liteをアーキテクチャのバックボーンネットワークとして設計する。 提案システムは,Patch-NetVLADの14倍,理論的FLOPの6.8倍,特徴抽出と特徴マッチングの21倍,33倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-11-27T15:46:53Z)
• A lightweight and accurate YOLO-like network for small target detection in Aerial Imagery [94.78943497436492]
  小型ターゲット検出のためのシンプルで高速で効率的なネットワークであるYOLO-Sを提案する。 YOLO-SはDarknet20をベースとした小さな特徴抽出器と、バイパスと連結の両方を通じて接続をスキップする。 YOLO-Sはパラメータサイズが87%減少し、約半分のFLOPがYOLOv3となり、低消費電力の産業用アプリケーションに実用化された。
  論文  参考訳（メタデータ） (2022-04-05T16:29:49Z)
• EAutoDet: Efficient Architecture Search for Object Detection [110.99532343155073]
  EAutoDetフレームワークは、1.4GPU日でオブジェクト検出のための実用的なバックボーンとFPNアーキテクチャを検出できる。 本稿では,一方のエッジ上での候補演算の重みを共有し,それらを一つの畳み込みに集約することでカーネル再利用手法を提案する。 特に、発見されたアーキテクチャは最先端のオブジェクト検出NAS法を超越し、120 FPSで40.1 mAP、49.2 mAP、41.3 FPSをCOCOテストデブセットで達成している。
  論文  参考訳（メタデータ） (2022-03-21T05:56:12Z)
• Anchor-free Small-scale Multispectral Pedestrian Detection [88.7497134369344]
  適応型単一段アンカーフリーベースアーキテクチャにおける2つのモードの効果的かつ効率的な多重スペクトル融合法を提案する。 我々は,直接的境界ボックス予測ではなく,対象の中心と規模に基づく歩行者表現の学習を目指す。 その結果,小型歩行者の検出における本手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-08-19T13:13:01Z)
• Objectness-Aware Few-Shot Semantic Segmentation [31.13009111054977]
  モデル全体のキャパシティを向上し、パフォーマンスを向上させる方法を示す。 我々は、クラス非依存であり、過度に適合しがちな客観性を導入する。 注釈のないカテゴリの例が1つだけあると、実験により、mIoUに関して、我々の手法が最先端の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2020-04-06T19:12:08Z)
• Spatial-Spectral Residual Network for Hyperspectral Image Super-Resolution [82.1739023587565]
  ハイパースペクトル画像超解像のための新しいスペクトル空間残差ネットワーク(SSRNet)を提案する。 提案手法は,2次元畳み込みではなく3次元畳み込みを用いて空間スペクトル情報の探索を効果的に行うことができる。 各ユニットでは空間的・時間的分離可能な3次元畳み込みを用いて空間的・スペクトル的な情報を抽出する。
  論文  参考訳（メタデータ） (2020-01-14T03:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。