論文の概要: Transformaly -- Two (Feature Spaces) Are Better Than One

• arxiv url: http://arxiv.org/abs/2112.04185v1
• Date: Wed, 8 Dec 2021 09:21:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 14:33:57.439302
• Title: Transformaly -- Two (Feature Spaces) Are Better Than One
• Title（参考訳）: Transformaly -- 2つの(フィーチャースペース)が1より優れている
• Authors: Matan Jacob Cohen, Shai Avidan
• Abstract要約: 異常検出(英: Anomaly detection)は、所定の分布外のサンプルを識別しようとする、確立された研究分野である。 近年の論文では、事前学習したネットワークを特徴抽出の最先端化に活用している。 本稿では,教師-学生教育を用いて,この情報を活用することを提案する。
• 参考スコア（独自算出の注目度）: 25.86435513157795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Anomaly detection is a well-established research area that seeks to identify samples outside of a predetermined distribution. An anomaly detection pipeline is comprised of two main stages: (1) feature extraction and (2) normality score assignment. Recent papers used pre-trained networks for feature extraction achieving state-of-the-art results. However, the use of pre-trained networks does not fully-utilize the normal samples that are available at train time. This paper suggests taking advantage of this information by using teacher-student training. In our setting, a pretrained teacher network is used to train a student network on the normal training samples. Since the student network is trained only on normal samples, it is expected to deviate from the teacher network in abnormal cases. This difference can serve as a complementary representation to the pre-trained feature vector. Our method -- Transformaly -- exploits a pre-trained Vision Transformer (ViT) to extract both feature vectors: the pre-trained (agnostic) features and the teacher-student (fine-tuned) features. We report state-of-the-art AUROC results in both the common unimodal setting, where one class is considered normal and the rest are considered abnormal, and the multimodal setting, where all classes but one are considered normal, and just one class is considered abnormal. The code is available at https://github.com/MatanCohen1/Transformaly.
• Abstract（参考訳）: 異常検出(英: Anomaly detection)は、所定の分布外のサンプルを識別しようとする、確立された研究分野である。 異常検出パイプラインは、(1)特徴抽出と(2)正規性スコア割り当ての2つの主ステージで構成される。 近年の論文では、事前学習したネットワークを特徴抽出の最先端化に活用している。 しかし、事前訓練ネットワークの利用は、列車時に利用できる通常のサンプルを十分に活用していない。 本論文は,教師養成による情報活用を提案する。 本設定では,教師ネットワークを用いて,通常のトレーニングサンプルに基づいて学生ネットワークをトレーニングする。 学生ネットワークは,通常のサンプルにのみ訓練されるため,異常例では教師ネットワークから逸脱することが期待される。 この差異は、事前訓練された特徴ベクトルの相補的な表現として機能する。 提案手法は,事前学習型視覚変換器(ViT)を用いて,前学習型(非学習型)機能と教師学習型(微調整型)機能の両方を抽出する。 本報告では, AUROCの現状を, 1つのクラスが正常とみなし, 残りのクラスが異常とみなす共通一元的設定と, 1つのクラスを除くすべてのクラスが正常とみなし, 1つのクラスのみ異常とみなすマルチモーダル設定の両方で報告する。 コードはhttps://github.com/MatanCohen1/Transformalyで入手できる。

関連論文リスト

• Interpreting deep learning output for out-of-distribution detection [0.6091702876917279]
  深層学習ネットワークにおける分布外検出のための新しい手法を開発した。 この方法は、モデル学習プロセスとその出力の理解と解釈への説明的なステップを提供する。 我々は,透過型電子顕微鏡ウイルス画像データセット上でのOOD検出手法を実証した。
  論文  参考訳（メタデータ） (2022-11-07T15:48:08Z)
• Asymmetric Student-Teacher Networks for Industrial Anomaly Detection [22.641661538154054]
  本研究は,学生・教員による異常検出手法の既知の問題点を明らかにする。 2つのニューラルネットワークがトレーニングされ、欠陥のないトレーニング例で同じ出力を生成する。 本手法は, MVTec AD と MVTec 3D-AD の2つの現在最も関連性の高い欠陥検出データセットに対して, 最先端の結果を生成する。
  論文  参考訳（メタデータ） (2022-10-14T13:56:50Z)
• Reconstructed Student-Teacher and Discriminative Networks for Anomaly Detection [8.35780131268962]
  学生と教師のネットワークで構成されるSTPM(Standard-Teacher Feature pyramid matching)に基づいて,強力な異常検出手法を提案する。 本研究は,STPMの精度を向上させるために,学生ネットワークを生成モデルとして使用し,通常の特徴を再構築する。 さらに精度を向上させるために,本手法では擬似アノマリーで訓練した識別ネットワークを用いる。
  論文  参考訳（メタデータ） (2022-10-14T05:57:50Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Multiresolution Knowledge Distillation for Anomaly Detection [10.799350080453982]
  教師なし表現学習は、画像における異常検出/局所化の重要な構成要素であることが証明されている。 サンプルサイズは、従来の手法でリッチな一般化可能な表現を学ぶのに十分な大きさではないことが多い。 本稿では、ImageNetで事前訓練された各種ネットワークの「蒸留」機能を用いて、両方の問題に対処する簡易なクローンネットワークを提案する。
  論文  参考訳（メタデータ） (2020-11-22T21:16:35Z)
• Training Deep Neural Networks Without Batch Normalization [4.266320191208303]
  この研究はバッチ正規化を詳細に研究し、重量正規化、勾配クリッピング、ドロップアウトといった他の手法と比較する。 この研究の主な目的は、トレーニングプロセスの適応によってバッチ正規化が除去された場合、ネットワークを効果的にトレーニングできるかどうかを判断することである。
  論文  参考訳（メタデータ） (2020-08-18T15:04:40Z)
• The Lottery Ticket Hypothesis for Pre-trained BERT Networks [137.99328302234338]
  自然言語処理(NLP)では、BERTのような巨大な事前学習モデルがトレーニングの標準出発点となっている。 並行して、抽選券仮説の研究により、NLPとコンピュータビジョンのモデルには、完全精度で個別にトレーニングできる小さなマッチングワークが含まれていることが示されている。 これらの観測と組み合わせて、トレーニング済みのBERTモデルにそのようなトレーニング可能なトランスファーブルワークが存在するかどうかを評価する。
  論文  参考訳（メタデータ） (2020-07-23T19:35:39Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Few-Shot Learning as Domain Adaptation: Algorithm and Analysis [120.75020271706978]
  わずかながらの学習は、目に見えないクラスを認識するために、目に見えないクラスから学んだ事前知識を使用する。 このクラス差による分布シフトは、ドメインシフトの特別なケースとみなすことができる。 メタラーニングフレームワークにおいて、そのようなドメインシフト問題に明示的に対処するために、注意を向けたプロトタイプドメイン適応ネットワーク(DAPNA)を提案する。
  論文  参考訳（メタデータ） (2020-02-06T01:04:53Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。