論文の概要: An overview of condensation phenomenon in deep learning

• arxiv url: http://arxiv.org/abs/2504.09484v1
• Date: Sun, 13 Apr 2025 08:50:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:50:34.539318
• Title: An overview of condensation phenomenon in deep learning
• Title（参考訳）: 深層学習における凝縮現象の概観
• Authors: Zhi-Qin John Xu, Yaoyu Zhang, Zhangchen Zhou,
• Abstract要約: ニューラルネットワークの非線形トレーニングの間、同じ層のニューロンは、同様の出力を持つグループに凝縮する傾向がある。 本稿では, トレーニング力学と損失景観の構造の観点から, 凝縮の基盤となるメカニズムについて検討する。 凝縮現象は、ニューラルネットワークの能力に関する貴重な洞察を与え、トランスフォーマーベースの言語モデルにおけるより強力な推論能力に相関する。
• 参考スコア（独自算出の注目度）: 7.264378254137811
• License:
• Abstract: In this paper, we provide an overview of a common phenomenon, condensation, observed during the nonlinear training of neural networks: During the nonlinear training of neural networks, neurons in the same layer tend to condense into groups with similar outputs. Empirical observations suggest that the number of condensed clusters of neurons in the same layer typically increases monotonically as training progresses. Neural networks with small weight initializations or Dropout optimization can facilitate this condensation process. We also examine the underlying mechanisms of condensation from the perspectives of training dynamics and the structure of the loss landscape. The condensation phenomenon offers valuable insights into the generalization abilities of neural networks and correlates to stronger reasoning abilities in transformer-based language models.
• Abstract（参考訳）: 本稿では、ニューラルネットワークの非線形トレーニング中に観測される共通現象、凝縮について概説する:ニューラルネットワークの非線形トレーニング中、同一層のニューロンは、同様の出力を持つグループに凝縮する傾向がある。 実験的な観察から、同じ層内のニューロンの凝縮されたクラスターの数は、訓練が進むにつれて単調に増加することが示唆される。 減量初期化やドロップアウト最適化の少ないニューラルネットワークは、この凝縮過程を容易にする。 また、トレーニング力学と損失景観の構造の観点から、凝縮の基盤となるメカニズムを考察した。 凝縮現象は、ニューラルネットワークの一般化能力に関する貴重な洞察を与え、トランスフォーマーベースの言語モデルにおけるより強力な推論能力に相関する。

関連論文リスト

• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• A rationale from frequency perspective for grokking in training neural network [7.264378254137811]
  グロキング(Grokking)は、ニューラルネットワークNNがトレーニングデータに最初に適合し、後にトレーニング中にテストデータに一般化する現象である。 本稿では,NNにおけるこの現象の出現を説明するための周波数視点を実証的に提示する。
  論文  参考訳（メタデータ） (2024-05-24T06:57:23Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• On the dynamics of three-layer neural networks: initial condensation [2.022855152231054]
  凝縮は、勾配法が自然にニューラルネットワークの複雑さを減少させるときに起こる。 有効動力学の爆破特性を確立し, 凝縮の発生に十分な条件を示す。 また, 深部行列分解における凝縮と低ランクバイアスの関係についても検討した。
  論文  参考訳（メタデータ） (2024-02-25T02:36:14Z)
• Understanding the Initial Condensation of Convolutional Neural Networks [6.451914896767135]
  2層畳み込みニューラルネットワークのカーネルは、トレーニング中に1つまたは数つの方向に収束する。 この研究は、特殊な構造を持つニューラルネットワークが示す非線形トレーニングの振る舞いをより深く理解するための一歩である。
  論文  参考訳（メタデータ） (2023-05-17T05:00:47Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Phase Diagram of Initial Condensation for Two-layer Neural Networks [4.404198015660192]
  2層ニューラルネットワークの初期凝縮の位相図を示す。 私たちのフェーズダイアグラムは、ニューラルネットワークの動的構造を包括的に理解するのに役立ちます。
  論文  参考訳（メタデータ） (2023-03-12T03:55:38Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural Networks [69.42260428921436]
  クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。 我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。 CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:13:36Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。