論文の概要: DATE: Detecting Anomalies in Text via Self-Supervision of Transformers

• arxiv url: http://arxiv.org/abs/2104.05591v1
• Date: Mon, 12 Apr 2021 16:08:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:20:11.625933
• Title: DATE: Detecting Anomalies in Text via Self-Supervision of Transformers
• Title（参考訳）: 日付:変圧器の自己スーパービジョンによるテキストの異常検出
• Authors: Andrei Manolache and Florin Brad and Elena Burceanu
• Abstract要約: 画像の異常に対する最近の深い方法は、エンドツーエンドのセルフ監視設定で正常性のより良い特徴を学びます。 このアプローチは、テキストシーケンスに新しいプリテキストタスクを導入することで、テキストの異常検出に使用します。 20NewsgroupsおよびAG Newsデータセットで強力な定量的および定性的な結果を示します。
• 参考スコア（独自算出の注目度）: 5.105840060102528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Leveraging deep learning models for Anomaly Detection (AD) has seen widespread use in recent years due to superior performances over traditional methods. Recent deep methods for anomalies in images learn better features of normality in an end-to-end self-supervised setting. These methods train a model to discriminate between different transformations applied to visual data and then use the output to compute an anomaly score. We use this approach for AD in text, by introducing a novel pretext task on text sequences. We learn our DATE model end-to-end, enforcing two independent and complementary self-supervision signals, one at the token-level and one at the sequence-level. Under this new task formulation, we show strong quantitative and qualitative results on the 20Newsgroups and AG News datasets. In the semi-supervised setting, we outperform state-of-the-art results by +13.5% and +6.9%, respectively (AUROC). In the unsupervised configuration, DATE surpasses all other methods even when 10% of its training data is contaminated with outliers (compared with 0% for the others).
• Abstract（参考訳）: 異常検出(AD)のためのディープラーニングモデルの導入は、従来の手法よりも優れた性能のため、近年広く利用されている。 最近の画像における異常の深層化手法は、エンドツーエンドの自己監督設定において、正常性のより良い特徴を学習する。 これらの手法は、モデルに視覚データに適用された異なる変換を識別させ、出力を使用して異常スコアを計算する。 テキスト列に新しい前文タスクを導入することで,このアプローチをテキスト広告に適用する。 我々は、DATEモデルをエンドツーエンドに学習し、2つの独立かつ補完的な自己超越信号、トークンレベルで1つ、シーケンスレベルで1つを強制する。 この新たなタスクの定式化の下で、20NewsgroupsおよびAG Newsデータセット上で、強い量的および質的な結果を示す。 半教師付き環境では、最先端の結果を+13.5%、+6.9%(AUROC)で上回ります。 教師なしの構成では、DATEはトレーニングデータの10%がアウトレーヤで汚染されている場合(他のデータと比較すると0%)、他のすべてのメソッドを上回ります。

関連論文リスト

• RoSAS: Deep Semi-Supervised Anomaly Detection with Contamination-Resilient Continuous Supervision [21.393509817509464]
  本稿では, テクスト汚染耐性連続監視信号を考案した, 半教師付き異常検出手法を提案する。 当社のアプローチは、AUC-PRにおいて最先端の競合他社を20%-30%上回っている。
  論文  参考訳（メタデータ） (2023-07-25T04:04:49Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Confidence-Guided Data Augmentation for Deep Semi-Supervised Training [0.9968241071319184]
  特徴空間の最も困難な領域からの学習を強調する半教師付き学習設定のための新しいデータ拡張手法を提案する。 CIFAR-100とSTL-10の2つのベンチマークRGBデータセットを用いて実験を行い、提案手法が精度とロバスト性の観点から分類性能を向上させることを示す。
  論文  参考訳（メタデータ） (2022-09-16T21:23:19Z)
• AnoShift: A Distribution Shift Benchmark for Unsupervised Anomaly Detection [7.829710051617368]
  本稿では,ネットワーク侵入検知のためのトラフィックデータセットである Kyoto-2006+ 上に構築された,時間とともに変化するデータを含む教師なし異常検出ベンチマークを提案する。 まず, 基本機能解析, t-SNE, および最適輸送手法を用いて, 年々の分布距離を計測する。 従来のアプローチからディープラーニングまで,さまざまなモデルでパフォーマンス劣化を検証する。
  論文  参考訳（メタデータ） (2022-06-30T17:59:22Z)
• Fake It Till You Make It: Near-Distribution Novelty Detection by Score-Based Generative Models [54.182955830194445]
  既存のモデルは、いわゆる"近く分布"設定で失敗するか、劇的な低下に直面します。 本稿では, スコアに基づく生成モデルを用いて, 合成近分布異常データを生成することを提案する。 本手法は,9つのノベルティ検出ベンチマークにおいて,近分布ノベルティ検出を6%改善し,最先端のノベルティ検出を1%から5%パスする。
  論文  参考訳（メタデータ） (2022-05-28T02:02:53Z)
• Self-Trained One-class Classification for Unsupervised Anomaly Detection [56.35424872736276]
  異常検出(AD)は、製造から医療まで、さまざまな分野に応用されている。 本研究は、トレーニングデータ全体がラベル付けされておらず、正規サンプルと異常サンプルの両方を含む可能性のある、教師なしAD問題に焦点を当てる。 この問題に対処するため,データリファインメントによる堅牢な一級分類フレームワークを構築した。 本手法は6.3AUCと12.5AUCの平均精度で最先端の1クラス分類法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-11T01:36:08Z)
• RLAD: Time Series Anomaly Detection through Reinforcement Learning and Active Learning [17.089402177923297]
  新しい半監視型時系列異常検出アルゴリズムを紹介します。 深層強化学習とアクティブラーニングを使用して、実世界の時系列データの異常を効率的に学習し、適応する。 パラメータを手動でチューニングする必要はなく、比較するすべての最先端のメソッドを上回ります。
  論文  参考訳（メタデータ） (2021-03-31T15:21:15Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks [73.01104041298031]
  TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。 時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。 提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
  論文  参考訳（メタデータ） (2020-09-16T15:52:04Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。