論文の概要: Does Double Descent Occur in Self-Supervised Learning?

• arxiv url: http://arxiv.org/abs/2307.07872v1
• Date: Sat, 15 Jul 2023 19:09:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 17:18:45.840386
• Title: Does Double Descent Occur in Self-Supervised Learning?
• Title（参考訳）: 自己指導型学習における二重発病は起こるか?
• Authors: Alisia Lupidi, Yonatan Gideoni, Dulhan Jayalath
• Abstract要約: 二重降下は自己教師付きモデルには存在しない。 試験損失は古典的なU字型か単調に減少するかのどちらかであり、二重輝線曲線は示さない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most investigations into double descent have focused on supervised models while the few works studying self-supervised settings find a surprising lack of the phenomenon. These results imply that double descent may not exist in self-supervised models. We show this empirically using a standard and linear autoencoder, two previously unstudied settings. The test loss is found to have either a classical U-shape or to monotonically decrease instead of exhibiting a double-descent curve. We hope that further work on this will help elucidate the theoretical underpinnings of this phenomenon.
• Abstract（参考訳）: 二重降下に関するほとんどの調査は教師付きモデルに焦点が当てられているが、自己教師付き設定を研究している研究は驚くべき現象の欠如を見出している。 これらの結果は、自己教師付きモデルには二重降下が存在しないことを示唆している。 従来検討されていない2つの設定の標準および線形オートエンコーダを用いてこれを実証的に示す。 試験損失は古典的なU字型か単調に減少するかのどちらかであり、二重蛍光曲線は示さない。 さらなる研究が、この現象の理論的基盤を明らかにするのに役立つことを願っている。

関連論文リスト

• Multiple Descents in Unsupervised Learning: The Role of Noise, Domain Shift and Anomalies [14.399035468023161]
  教師なし学習における二重の子孫の存在について検討するが、これはほとんど注目されず、まだ完全には理解されていない領域である。 我々は、合成データと実データを用いて、様々なアプリケーションに対してモデルワイド、エポックワイド、サンプルワイドの二重降下を識別する。
  論文  参考訳（メタデータ） (2024-06-17T16:24:23Z)
• Understanding the Double Descent Phenomenon in Deep Learning [49.1574468325115]
  このチュートリアルは、古典的な統計学習の枠組みを設定し、二重降下現象を導入する。 いくつかの例を見て、セクション2では、二重降下において重要な役割を果たすと思われる帰納的バイアスを導入している。 第3節は2つの線形モデルで二重降下を探索し、最近の関連する研究から他の視点を提供する。
  論文  参考訳（メタデータ） (2024-03-15T16:51:24Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Double Descent Demystified: Identifying, Interpreting & Ablating the Sources of a Deep Learning Puzzle [12.00962791565144]
  二重降下は機械学習の驚くべき現象である。 データ数に対してモデルパラメータの数が増加するにつれて、テストエラーは減少する。
  論文  参考訳（メタデータ） (2023-03-24T17:03:40Z)
• Are All Vision Models Created Equal? A Study of the Open-Loop to Closed-Loop Causality Gap [109.46323960299146]
  オープンループからクローズループ因果性ギャップに関する視覚アーキテクチャについて検討する。 適切なトレーニングガイドラインの下では、すべての視覚モデルが分散配置において不明瞭によく機能することを示す。 その結果,現代のネットワークアーキテクチャを用いたトレーニングガイドラインの提案により,因果関係のギャップを解消できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-09T16:56:45Z)
• Sparse Double Descent: Where Network Pruning Aggravates Overfitting [8.425040193238777]
  本稿では,ネットワークプルーニングによるモデル間隔の増加に伴い,テスト性能が悪化する予期せぬ二重降下現象を報告する。 本稿では,スパースモデルの学習距離$ell_2$の曲線がスパース二重降下曲線とよく相関することを示す。
  論文  参考訳（メタデータ） (2022-06-17T11:02:15Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Distilling Double Descent [65.85258126760502]
  蒸留とは、別の「教師」モデルでラベル付けされた例に基づいた「学生」モデルを訓練する技法である。 教師モデルが非常にパラメータ化されすぎている場合であっても、非常に大きな保持されていないラベル付きデータセットを使用することで、より"伝統的な"アプローチを上回るモデルが生まれます。
  論文  参考訳（メタデータ） (2021-02-13T02:26:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。