論文の概要: Multiple Descents in Unsupervised Learning: The Role of Noise, Domain Shift and Anomalies

• arxiv url: http://arxiv.org/abs/2406.11703v1
• Date: Mon, 17 Jun 2024 16:24:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 13:53:20.907267
• Title: Multiple Descents in Unsupervised Learning: The Role of Noise, Domain Shift and Anomalies
• Title（参考訳）: 教師なし学習における複数の未熟児:騒音, ドメインシフト, 異常の役割
• Authors: Kobi Rahimi, Tom Tirer, Ofir Lindenbaum,
• Abstract要約: 教師なし学習における二重の子孫の存在について検討するが、これはほとんど注目されず、まだ完全には理解されていない領域である。 我々は、合成データと実データを用いて、様々なアプリケーションに対してモデルワイド、エポックワイド、サンプルワイドの二重降下を識別する。
• 参考スコア（独自算出の注目度）: 14.399035468023161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The phenomenon of double descent has recently gained attention in supervised learning. It challenges the conventional wisdom of the bias-variance trade-off by showcasing a surprising behavior. As the complexity of the model increases, the test error initially decreases until reaching a certain point where the model starts to overfit the train set, causing the test error to rise. However, deviating from classical theory, the error exhibits another decline when exceeding a certain degree of over-parameterization. We study the presence of double descent in unsupervised learning, an area that has received little attention and is not yet fully understood. We conduct extensive experiments using under-complete auto-encoders (AEs) for various applications, such as dealing with noisy data, domain shifts, and anomalies. We use synthetic and real data and identify model-wise, epoch-wise, and sample-wise double descent for all the aforementioned applications. Finally, we assessed the usability of the AEs for detecting anomalies and mitigating the domain shift between datasets. Our findings indicate that over-parameterized models can improve performance not only in terms of reconstruction, but also in enhancing capabilities for the downstream task.
• Abstract（参考訳）: 二重降下現象は近年,教師あり学習において注目されている。 これは、予想外の振る舞いを示すことによって、従来の偏差トレードオフの知恵に挑戦する。 モデルの複雑さが増大するにつれて、テストエラーは、モデルが列車セットに過度に適合し始める特定の時点に到達するまで減少し、テストエラーが上昇する。 しかし、古典理論から逸脱して、この誤差はある種の過度なパラメータ化を超えると別の減少を示す。 教師なし学習における二重の子孫の存在について検討するが、これはほとんど注目されず、まだ完全には理解されていない領域である。 我々は、ノイズデータ、ドメインシフト、異常などの様々なアプリケーションに対して、未完成のオートエンコーダ(AE)を用いて広範な実験を行う。 合成データと実データを用いて、上記のすべてのアプリケーションに対して、モデルワイド、エポックワイド、サンプルワイドの二重降下を識別する。 最後に、異常を検出し、データセット間のドメインシフトを軽減するためのAEのユーザビリティを評価した。 以上の結果から, 過パラメータ化モデルでは, 再構成だけでなく, 下流タスクの能力向上にも有効であることが示唆された。

関連論文リスト

• Anomaly Detection by Context Contrasting [57.695202846009714]
  異常検出は、標準から逸脱するサンプルを特定することに焦点を当てる。 近年の自己教師型学習の進歩は、この点において大きな可能性を秘めている。 本稿では、通常のトレーニングデータを異なるコンテキストに設定することで、この問題に対処するCon2を提案する。 より現実的な医療環境では,様々なベンチマークで最先端のパフォーマンスを実現しつつ,優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-29T07:59:06Z)
• SaliencyCut: Augmenting Plausible Anomalies for Anomaly Detection [24.43321988051129]
  そこで本稿では,SaliencyCutという新たなデータ拡張手法を提案する。 次に、各サンプルから微細な異常特徴を抽出し評価するために、異常学習ヘッドにパッチワイド残余モジュールを新規に設計する。
  論文  参考訳（メタデータ） (2023-06-14T08:55:36Z)
• Are we certain it's anomalous? [57.729669157989235]
  時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。 本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。 HypADは自己指導で入力信号を再構築する。
  論文  参考訳（メタデータ） (2022-11-16T21:31:39Z)
• Anomaly Detection via Multi-Scale Contrasted Memory [3.0170109896527086]
  マルチスケールの標準プロトタイプをトレーニング中に記憶し,異常偏差値を計算する2段階の異常検出器を新たに導入する。 CIFAR-10の誤差相対改善率を最大35%とすることにより,多種多様なオブジェクト,スタイル,局所異常に対する最先端性能を高い精度で向上させる。
  論文  参考訳（メタデータ） (2022-11-16T16:58:04Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation [77.71161225100927]
  異常検出は、機械学習の基本的な問題であるが、難しい問題である。 本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
  論文  参考訳（メタデータ） (2021-11-25T03:53:43Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Double Trouble in Double Descent : Bias and Variance(s) in the Lazy Regime [32.65347128465841]
  深層ニューラルネットワークは、トレーニングデータを完璧に補間しながら、素晴らしいパフォーマンスを達成することができる。 バイアス分散トレードオフのU曲線ではなく、テストエラーはしばしば「二重降下」に従う。 我々は、ニューラルネットワークのいわゆる遅延学習システムにおいて、この現象の定量的理論を開発する。
  論文  参考訳（メタデータ） (2020-03-02T17:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。