論文の概要: GradStop: Exploring Training Dynamics in Unsupervised Outlier Detection through Gradient Cohesion

• arxiv url: http://arxiv.org/abs/2412.08501v1
• Date: Wed, 11 Dec 2024 16:07:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:01:38.369474
• Title: GradStop: Exploring Training Dynamics in Unsupervised Outlier Detection through Gradient Cohesion
• Title（参考訳）: GradStop: 勾配粘着による教師なし外乱検出におけるトレーニングダイナミクスの探索
• Authors: Yuang Zhang, Liping Wang, Yihong Huang, Yuanxing Zheng,
• Abstract要約: Unsupervised Outlier Detection (UOD)は、データマイニングと機械学習において重要なタスクであり、多数派から著しく逸脱したインスタンスを識別することを目的としている。 ラベルがなければ、深い UOD メソッドはモデルの直接最適化目標と Outlier Detection タスクの最終的なパフォーマンス目標との相違に悩まされる。 本稿では,深部UODモデルのトレーニングを最適化する早期停止アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 3.5510589740276424
• License:
• Abstract: Unsupervised Outlier Detection (UOD) is a critical task in data mining and machine learning, aiming to identify instances that significantly deviate from the majority. Without any label, deep UOD methods struggle with the misalignment between the model's direct optimization goal and the final performance goal of Outlier Detection (OD) task. Through the perspective of training dynamics, this paper proposes an early stopping algorithm to optimize the training of deep UOD models, ensuring they perform optimally in OD rather than overfitting the entire contaminated dataset. Inspired by UOD mechanism and inlier priority phenomenon, where intuitively models fit inliers more quickly than outliers, we propose GradStop, a sampling-based label-free algorithm to estimate model's real-time performance during training. First, a sampling method generates two sets: one likely containing more outliers and the other more inliers, then a metric based on gradient cohesion is applied to probe into current training dynamics, which reflects model's performance on OD task. Experimental results on 4 deep UOD algorithms and 47 real-world datasets and theoretical proofs demonstrate the effectiveness of our proposed early stopping algorithm in enhancing the performance of deep UOD models. Auto Encoder (AE) enhanced by GradStop achieves better performance than itself, other SOTA UOD methods, and even ensemble AEs. Our method provides a robust and effective solution to the problem of performance degradation during training, enabling deep UOD models to achieve better potential in anomaly detection tasks.
• Abstract（参考訳）: Unsupervised Outlier Detection (UOD)は、データマイニングと機械学習において重要なタスクであり、多数派から著しく逸脱したインスタンスを識別することを目的としている。 ラベルがなければ、深い UOD メソッドはモデルの直接最適化目標と Outlier Detection (OD) タスクの最終的なパフォーマンス目標との相違に悩まされる。 本稿では, 深部UODモデルのトレーニングを最適化する早期停止アルゴリズムを提案し, 汚染されたデータセット全体を過度に適合させるのではなく, ODで最適に実行できるようにする。 UOD機構と不整合優先現象にインスパイアされ、モデルがアウトレーヤよりも直感的に不整合に収まる現象を呈し、モデルがトレーニング中にリアルタイムに性能を推定するサンプリングベースラベルフリーアルゴリズムであるGradStopを提案する。 まず、サンプリング法は2つの集合を生成する: 1つは、より多くのアウトレーヤと、もう1つはよりインレーヤを含む可能性が高いが、次に勾配の凝集に基づく計量を適用して、ODタスクにおけるモデルの性能を反映する現在のトレーニングダイナミクスを探索する。 4つの深度 UOD アルゴリズムと47個の実世界のデータセットと理論実証実験により,提案手法が深度 UOD モデルの性能向上に有効であることを実証した。 GradStopによって強化されたオートエンコーダ(AE)は、自身や他のSOTA UODメソッド、さらにはアンサンブルAEよりも優れたパフォーマンスを実現している。 本手法は,訓練中の性能劣化問題に対する堅牢かつ効果的な解法を提供する。

関連論文リスト

• ALTBI: Constructing Improved Outlier Detection Models via Optimization of Inlier-Memorization Effect [2.3961612657966946]
  外乱検出(英: Outlier detection, OD)とは、特定のデータや今後のデータから異常な観測(または外乱)を識別するタスクである。 Inlier-memorization (IM) 効果は、生成モデルが初期の学習段階において、アウトリーチよりも前のインリーチを記憶することを示唆している。 IM効果を最大限に活用し,UODタスクに対処する理論的原理的手法を提案する。
  論文  参考訳（メタデータ） (2024-08-19T08:40:53Z)
• HUWSOD: Holistic Self-training for Unified Weakly Supervised Object Detection [66.42229859018775]
  我々は,HUWSOD(HuWSOD)と呼ばれる,統一・高容量弱教師付きオブジェクト検出(WSOD)ネットワークを導入する。 HUWSODには、自己管理された提案生成器と、従来のオブジェクト提案を置き換えるために、マルチレートで再構成されたピラミッドを備えたオートエンコーダ提案生成器が組み込まれている。 提案手法は,よく設計されたオフラインオブジェクト提案と大きく異なるが,WSOD訓練には有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-27T17:59:49Z)
• EntropyStop: Unsupervised Deep Outlier Detection with Loss Entropy [19.154826741973277]
  ロスエントロピー (Loss Entropy) と呼ばれるゼロラベルのエントロピー距離を損失分布として提案する。 また、損失エントロピーが最大モデル検出能力を示す場合、トレーニングを停止する自動早期停止アルゴリズムEntropyStopを開発した。
  論文  参考訳（メタデータ） (2024-05-21T05:17:43Z)
• Semi-supervised Open-World Object Detection [74.95267079505145]
  半教師付きオープンワールド検出(SS-OWOD)という,より現実的な定式化を導入する。 提案したSS-OWOD設定では,最先端OWOD検出器の性能が劇的に低下することが実証された。 我々は,MS COCO, PASCAL, Objects365, DOTAの4つのデータセットを用いた実験を行い, 提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-02-25T07:12:51Z)
• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier Detection [63.253850875265115]
  外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。 そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
  論文  参考訳（メタデータ） (2020-03-11T00:22:50Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。