論文の概要: Class-wise Activation Unravelling the Engima of Deep Double Descent

• arxiv url: http://arxiv.org/abs/2405.07679v1
• Date: Mon, 13 May 2024 12:07:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 13:55:08.800527
• Title: Class-wise Activation Unravelling the Engima of Deep Double Descent
• Title（参考訳）: 深発性深発性血管腫を呈するクラスワイド・アクティベーション
• Authors: Yufei Gu,
• Abstract要約: 二重降下は、機械学習領域内の反直観的な側面を示す。 本研究では,二重降下現象を再考し,その発生状況について考察した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Double descent presents a counter-intuitive aspect within the machine learning domain, and researchers have observed its manifestation in various models and tasks. While some theoretical explanations have been proposed for this phenomenon in specific contexts, an accepted theory for its occurring mechanism in deep learning remains yet to be established. In this study, we revisited the phenomenon of double descent and discussed the conditions of its occurrence. This paper introduces the concept of class-activation matrices and a methodology for estimating the effective complexity of functions, on which we unveil that over-parameterized models exhibit more distinct and simpler class patterns in hidden activations compared to under-parameterized ones. We further looked into the interpolation of noisy labelled data among clean representations and demonstrated overfitting w.r.t. expressive capacity. By comprehensively analysing hypotheses and presenting corresponding empirical evidence that either validates or contradicts these hypotheses, we aim to provide fresh insights into the phenomenon of double descent and benign over-parameterization and facilitate future explorations. By comprehensively studying different hypotheses and the corresponding empirical evidence either supports or challenges these hypotheses, our goal is to offer new insights into the phenomena of double descent and benign over-parameterization, thereby enabling further explorations in the field. The source code is available at https://github.com/Yufei-Gu-451/sparse-generalization.git.
• Abstract（参考訳）: 二重降下は機械学習領域において直感に反する側面を示し、研究者は様々なモデルやタスクでその現象を観察してきた。 特定の文脈において、この現象に関するいくつかの理論的説明が提案されているが、深層学習におけるその発生機構に関する受け入れられた理論はまだ確立されていない。 本研究では,二重降下現象を再考し,その発生状況について考察した。 本稿では、クラスアクティベーション行列の概念と、関数の有効複雑性を推定するための方法論を紹介し、過パラメータ化モデルが、過パラメータ化モデルよりも隠れアクティベーションにおいてより明瞭で単純なクラスパターンを示すことを示した。 さらに、クリーン表現におけるノイズラベル付きデータの補間について検討し、w.r.t.表現能力の過度な適合を実証した。 仮説を包括的に分析し、これらの仮説を検証または矛盾する経験的証拠を提示することにより、二重降下現象と良性過度化の新たな洞察を提供し、将来の探査を促進することを目指している。 異なる仮説とそれに対応する経験的証拠を包括的に研究することで、これらの仮説を支持したり、挑戦したりすることで、我々のゴールは、二重降下現象と良心的過パラメータ化の現象に対する新たな洞察を提供することであり、フィールドでのさらなる探索を可能にすることである。 ソースコードはhttps://github.com/Yufei-Gu-451/sparse- generalization.gitで公開されている。

関連論文リスト

• Toward Understanding In-context vs. In-weight Learning [50.24035812301655]
  本研究は,文脈内学習の出現と消失を引き起こす簡易な分布特性を同定する。 そして、この研究を完全な大規模言語モデルに拡張し、自然言語プロンプトの様々なコレクションの微調整が、文脈内および重み付き学習の振る舞いをいかに引き出すかを示す。
  論文  参考訳（メタデータ） (2024-10-30T14:09:00Z)
• Seeing Unseen: Discover Novel Biomedical Concepts via Geometry-Constrained Probabilistic Modeling [53.7117640028211]
  同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。 構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。 スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
  論文  参考訳（メタデータ） (2024-03-02T00:56:05Z)
• Unveiling the Potential of Probabilistic Embeddings in Self-Supervised Learning [4.124934010794795]
  自己教師付き学習は、ラベルのないデータから意味のある表現をモデルが取得できるようにすることで、機械学習を前進させる上で重要な役割を担っている。 本稿では,情報ボトルネックに対する確率的モデリングの影響について検討し,情報圧縮と情報保存のトレードオフについて述べる。 以上の結果から,損失空間に新たなボトルネックを導入することにより,アウト・オブ・ディストリビューションの事例を検出する能力が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2023-10-27T12:01:16Z)
• Unraveling the Enigma of Double Descent: An In-depth Analysis through the Lens of Learned Feature Space [12.907949196758565]
  二重降下は、機械学習領域内の反直観的な側面を示す。 ノイズの多いデータで訓練された不完全なモデルに二重降下が生じると我々は主張する。
  論文  参考訳（メタデータ） (2023-10-20T15:10:16Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• Causal Triplet: An Open Challenge for Intervention-centric Causal Representation Learning [98.78136504619539]
  Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。 この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-12T17:43:38Z)
• Understanding the double descent curve in Machine Learning [1.8065361710947976]
  我々は,この現象を原則的に理解し,重要な質問に対する回答をスケッチする。 提案した仮説によって正確に予測された実実験結果について報告する。
  論文  参考訳（メタデータ） (2022-11-18T16:27:05Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
  最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。 ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。 ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
  論文  参考訳（メタデータ） (2021-07-27T09:13:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。