Fugu-MT 論文翻訳(概要): Nearest Class-Center Simplification through Intermediate Layers

論文の概要: Nearest Class-Center Simplification through Intermediate Layers

arxiv url: http://arxiv.org/abs/2201.08924v1
Date: Fri, 21 Jan 2022 23:21:26 GMT
ステータス: 処理完了
システム内更新日: 2022-01-29 08:44:45.398464
Title: Nearest Class-Center Simplification through Intermediate Layers
Title（参考訳）: 中間層による最寄りクラスセンターの簡易化
Authors: Ido Ben-Shaul, Shai Dekel
Abstract要約: 近年のDeep Learningは、補間閾値を越えて、トレーニング中に発生する幾何学的特性を導入している。ネットワークの中間層におけるニューラル崩壊という現象を探索し、ディープネット内の最も近いクラス・センター・ミスマッチの内部作業を強調する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent advances in theoretical Deep Learning have introduced geometric properties that occur during training, past the Interpolation Threshold -- where the training error reaches zero. We inquire into the phenomena coined Neural Collapse in the intermediate layers of the networks, and emphasize the innerworkings of Nearest Class-Center Mismatch inside the deepnet. We further show that these processes occur both in vision and language model architectures. Lastly, we propose a Stochastic Variability-Simplification Loss (SVSL) that encourages better geometrical features in intermediate layers, and improves both train metrics and generalization.
Abstract（参考訳）: 近年のDeep Learningは、補間閾値(Interpolation Threshold)を越えて、トレーニング中に発生する幾何学的特性を導入している。我々は,ネットワークの中間層における神経崩壊現象を考察し,ディープネット内の最寄りのクラス中心ミスマッチの内部構造を強調した。さらに,これらのプロセスが視覚と言語モデルアーキテクチャの両方で発生することを示す。最後に,中間層における幾何学的特徴を促進させ,計量の訓練と一般化の両方を改善する確率的変量単純化損失(svsl)を提案する。

関連論文リスト

Progressive Feedforward Collapse of ResNet Training [7.824226954174748]
トレーニング中の最終層の特徴とデータおよび中間層との関係について検討する。重み減衰したResNetが終位相のワッサーシュタイン空間の測地線曲線を近似するので、よく訓練されたResNetのモデルを導出する。本研究ではNCをPFCに拡張し、中間層の崩壊現象と入力データへの依存性をモデル化し、分類問題におけるResNetの理論的理解に光を当てる。
論文参考訳（メタデータ） (2024-05-02T03:48:08Z)
Low-Rank Learning by Design: the Role of Network Architecture and Activation Linearity in Gradient Rank Collapse [14.817633094318253]
ディープニューラルネットワーク(DNN)におけるデータ効果勾配ランクのアーキテクチャ的選択と構造について検討する。我々の理論的分析は、完全連結、再帰、畳み込みニューラルネットワークのトレーニングにこれらの境界を提供する。また、理論的にも経験的にも、アクティベーション関数の線形性、ボトルネック層の導入、畳み込みストライド、シーケンストランケーションといった設計選択がこれらの境界にどのように影響するかを示す。
論文参考訳（メタデータ） (2024-02-09T19:28:02Z)
Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination [33.273226655730326]
深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
論文参考訳（メタデータ） (2023-11-06T09:00:38Z)
Neural Collapse in the Intermediate Hidden Layers of Classification Neural Networks [0.0]
(NC)は、分類ニューラルネットワークの最終的な隠蔽層におけるクラスの表現を正確に記述する。本稿では,中間層におけるNCの出現を包括的に解析する。
論文参考訳（メタデータ） (2023-08-05T01:19:38Z)
Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
論文参考訳（メタデータ） (2023-01-03T13:51:51Z)
Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
論文参考訳（メタデータ） (2022-06-05T08:49:16Z)
On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文参考訳（メタデータ） (2022-04-22T15:56:43Z)
Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文参考訳（メタデータ） (2021-10-26T17:00:16Z)
LaplaceNet: A Hybrid Energy-Neural Model for Deep Semi-Supervised Classification [0.0]
深層半教師付き分類の最近の進歩は、前例のない性能に達している。モデル複雑性を大幅に低減した深層半教師付き分類のための新しいフレームワークであるLaplaceNetを提案する。本モデルは,複数のベンチマークデータセットを用いて,半教師付き深層分類のための最先端手法より優れる。
論文参考訳（メタデータ） (2021-06-08T17:09:28Z)
Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。