論文の概要: Unveiling Multiple Descents in Unsupervised Autoencoders

• arxiv url: http://arxiv.org/abs/2406.11703v2
• Date: Tue, 18 Feb 2025 19:00:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:57:14.910196
• Title: Unveiling Multiple Descents in Unsupervised Autoencoders
• Title（参考訳）: 教師なしオートエンコーダにおける複数枝の展開
• Authors: Kobi Rahimi, Yehonathan Refael, Tom Tirer, Ofir Lindenbaum,
• Abstract要約: 非線形非教師なしオートエンコーダで二重・三重降下を観測できることを初めて示す。 合成データセットと実データセットの両方に関する広範な実験を通して、モデルワイド、エポックワイド、サンプルワイドの二重降下を明らかにする。
• 参考スコア（独自算出の注目度）: 13.180761892449736
• License:
• Abstract: The phenomenon of double descent has challenged the traditional bias-variance trade-off in supervised learning but remains unexplored in unsupervised learning, with some studies arguing for its absence. In this study, we first demonstrate analytically that double descent does not occur in linear unsupervised autoencoders (AEs). In contrast, we show for the first time that both double and triple descent can be observed with nonlinear AEs across various data models and architectural designs. We examine the effects of partial sample and feature noise and highlight the importance of bottleneck size in influencing the double descent curve. Through extensive experiments on both synthetic and real datasets, we uncover model-wise, epoch-wise, and sample-wise double descent across several data types and architectures. Our findings indicate that over-parameterized models not only improve reconstruction but also enhance performance in downstream tasks such as anomaly detection and domain adaptation, highlighting their practical value in complex real-world scenarios.
• Abstract（参考訳）: 二重降下現象は、教師なし学習における伝統的なバイアス分散トレードオフに挑戦してきたが、教師なし学習では未解明のままであり、一部の研究ではその欠如を論じている。 本研究ではまず,線形非教師付きオートエンコーダ(AE)において二重降下が発生しないことを解析的に示す。 対照的に、2重および3重の降下は、様々なデータモデルとアーキテクチャ設計をまたいだ非線形AEで観測できることを示す。 部分サンプルと特徴雑音の影響について検討し、二重降下曲線に影響を与えるボトルネックサイズの重要性を強調した。 合成データセットと実データセットの両方に関する広範な実験を通じて、モデルワイド、エポックワイド、サンプルワイドの複数のデータタイプとアーキテクチャにまたがる二重降下を明らかにする。 以上の結果から, オーバーパラメータ化モデルでは, 再現性の向上だけでなく, 異常検出やドメイン適応といった下流タスクの性能向上が図られ, 複雑な実世界のシナリオにおける実用的価値が強調された。

関連論文リスト

• Data Duplication: A Novel Multi-Purpose Attack Paradigm in Machine Unlearning [19.229039345631406]
  データ重複が未学習のプロセスに与える影響は、まだ明らかにされていない。 対象モデルのトレーニングセットのサブセットを複製し,それをトレーニングセットに組み込む敵を提案する。 次に,非重複手法を適用した場合の学習プロセスへの影響について検討する。
  論文  参考訳（メタデータ） (2025-01-28T02:52:51Z)
• Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
  具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。 本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T07:30:41Z)
• Generating and Reweighting Dense Contrastive Patterns for Unsupervised Anomaly Detection [59.34318192698142]
  我々は、先行のない異常発生パラダイムを導入し、GRADと呼ばれる革新的な教師なし異常検出フレームワークを開発した。 PatchDiffは、様々な種類の異常パターンを効果的に公開する。 MVTec ADとMVTec LOCOデータセットの両方の実験も、前述の観測をサポートする。
  論文  参考訳（メタデータ） (2023-12-26T07:08:06Z)
• Video Anomaly Detection via Spatio-Temporal Pseudo-Anomaly Generation : A Unified Approach [49.995833831087175]
  本研究は,画像のマスキング領域にペンキを塗布することにより,汎用的な映像時間PAを生成する手法を提案する。 さらに,OCC設定下での現実世界の異常を検出するための単純な統合フレームワークを提案する。 提案手法は,OCC設定下での既存のPAs生成および再構築手法と同等に動作する。
  論文  参考訳（メタデータ） (2023-11-27T13:14:06Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Unraveling the Enigma of Double Descent: An In-depth Analysis through the Lens of Learned Feature Space [12.907949196758565]
  二重降下は、機械学習領域内の反直観的な側面を示す。 ノイズの多いデータで訓練された不完全なモデルに二重降下が生じると我々は主張する。
  論文  参考訳（メタデータ） (2023-10-20T15:10:16Z)
• Learning from few examples with nonlinear feature maps [68.8204255655161]
  我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。 本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
  論文  参考訳（メタデータ） (2022-03-31T10:36:50Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Analytic Study of Double Descent in Binary Classification: The Impact of Loss [34.100845063076534]
  DD現象は持続するが,ロジスティックな損失と比較していくつかの相違点が認められた。 さらに,DD曲線のトレーニングセットのサイズ依存性について検討した。
  論文  参考訳（メタデータ） (2020-01-30T21:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。