Fugu-MT 論文翻訳(概要): Can We Understand Plasticity Through Neural Collapse?

論文の概要: Can We Understand Plasticity Through Neural Collapse?

arxiv url: http://arxiv.org/abs/2404.02719v1
Date: Wed, 3 Apr 2024 13:21:58 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 17:21:13.394545
Title: Can We Understand Plasticity Through Neural Collapse?
Title（参考訳）: 神経崩壊による塑性の理解は可能か?
Authors: Guglielmo Bonifazi, Iason Chalas, Gian Hess, Jakub Łucki,
Abstract要約: 本稿では,近年の深層学習における2つの現象,すなわち可塑性損失と神経崩壊の関連について検討する。これらの相関関係を異なるシナリオで分析し、最初のタスクでの最初のトレーニングフェーズの間に有意な関連性を明らかにする。神経崩壊を緩和する正規化手法を導入し,その有効性を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper explores the connection between two recently identified phenomena in deep learning: plasticity loss and neural collapse. We analyze their correlation in different scenarios, revealing a significant association during the initial training phase on the first task. Additionally, we introduce a regularization approach to mitigate neural collapse, demonstrating its effectiveness in alleviating plasticity loss in this specific setting.
Abstract（参考訳）: 本稿では,近年の深層学習における2つの現象,すなわち可塑性損失と神経崩壊の関連について検討する。これらの相関関係を異なるシナリオで分析し、最初のタスクでの最初のトレーニングフェーズの間に有意な関連性を明らかにする。さらに, 神経崩壊を緩和する正則化手法を導入し, この具体的環境での可塑性損失を軽減する効果を実証した。

関連論文リスト

Plasticity Loss in Deep Reinforcement Learning: A Survey [15.525552360867367]
塑性は深層強化学習(RL)エージェントにとって不可欠である。可塑性が失われると、データ分布の変化を考慮に入れないため、エージェントのパフォーマンスが低下する。可塑性の喪失は、トレーニング不安定性、スケール失敗、過大評価バイアス、探検不足など、深いRLを悩ませる多くの問題と結びつくことができる。
論文参考訳（メタデータ） (2024-11-07T16:13:54Z)
The Impact of Geometric Complexity on Neural Collapse in Transfer Learning [6.554326244334867]
損失面の平坦さと神経崩壊は、最近、有用な事前学習指標として現れている。実験と理論を通じて、事前学習されたネットワークの幾何学的複雑さに影響を与えるメカニズムが神経崩壊に影響を及ぼすことを示す。
論文参考訳（メタデータ） (2024-05-24T16:52:09Z)
Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文参考訳（メタデータ） (2024-02-29T00:02:33Z)
Understanding plasticity in neural networks [41.79540750236036]
可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
論文参考訳（メタデータ） (2023-03-02T18:47:51Z)
Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文参考訳（メタデータ） (2022-10-06T23:50:38Z)
Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
論文参考訳（メタデータ） (2022-06-05T08:49:16Z)
ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
論文参考訳（メタデータ） (2021-03-26T02:42:38Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文参考訳（メタデータ） (2020-05-20T16:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。