Fugu-MT 論文翻訳(概要): Quantifying the Variability Collapse of Neural Networks

論文の概要: Quantifying the Variability Collapse of Neural Networks

arxiv url: http://arxiv.org/abs/2306.03440v1
Date: Tue, 6 Jun 2023 06:37:07 GMT
ステータス: 処理完了
システム内更新日: 2023-06-07 16:52:09.728884
Title: Quantifying the Variability Collapse of Neural Networks
Title（参考訳）: ニューラルネットワークの変動崩壊の定量化
Authors: Jing Xu, Haoxiong Liu
Abstract要約: 最近発見されたNeural Collapse(NC)現象は、ニューラルネットワークの最後の層構造を理解するための新しい視点を提供する。 NCパラダイムにおける変動崩壊現象を定量化するために,変数崩壊指数(VCI)という新しい指標を提案する。
参考スコア（独自算出の注目度）: 2.9551667607781607
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent studies empirically demonstrate the positive relationship between the transferability of neural networks and the within-class variation of the last layer features. The recently discovered Neural Collapse (NC) phenomenon provides a new perspective of understanding such last layer geometry of neural networks. In this paper, we propose a novel metric, named Variability Collapse Index (VCI), to quantify the variability collapse phenomenon in the NC paradigm. The VCI metric is well-motivated and intrinsically related to the linear probing loss on the last layer features. Moreover, it enjoys desired theoretical and empirical properties, including invariance under invertible linear transformations and numerical stability, that distinguishes it from previous metrics. Our experiments verify that VCI is indicative of the variability collapse and the transferability of pretrained neural networks.
Abstract（参考訳）: 近年の研究では、ニューラルネットワークの転送可能性とラスト層の特徴のクラス内変動との正の関係が実証されている。最近発見されたneural collapse (nc)現象は、ニューラルネットワークの最後の層構造を理解する新しい視点を提供する。本稿では, NCパラダイムにおける変動崩壊現象を定量化するために, VCI(Variability Collapse Index)という新しい指標を提案する。 VCI測定値は、最終層の特徴に対する線形なプローブ損失と本質的に関係している。さらに、逆線型変換や数値安定性の下での不変性を含む、望ましい理論的および経験的性質を享受し、それ以前の指標と区別する。実験により,vciは,事前学習したニューラルネットワークの変動性崩壊と伝達性を示す。

関連論文リスト

Advancing the Understanding of Fixed Point Iterations in Deep Neural Networks: A Detailed Analytical Study [23.991344681741058]
ニューラルネットワークによってモデル化されたベクトル値関数において、固定点反復の詳細な解析を行う。我々は、様々な入力領域に基づいて、ループニューラルネットワークの複数の固定点が存在するための十分な条件を確立する。我々の手法はニューラルネットワークのメカニズムの理解を深めるかもしれない。
論文参考訳（メタデータ） (2024-10-15T04:57:02Z)
Neural Rank Collapse: Weight Decay and Small Within-Class Variability Yield Low-Rank Bias [4.829265670567825]
トレーニングネットワークの低ランクバイアスとニューラルネットワークの神経崩壊特性を結びつける,興味深いニューラルネットワークランク崩壊現象の存在を示す。重み劣化パラメータが大きくなるにつれて、ネットワーク内の各レイヤのランクは、前のレイヤの隠れ空間埋め込みのクラス内変動に比例して減少する。
論文参考訳（メタデータ） (2024-02-06T13:44:39Z)
Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2022-10-25T14:45:15Z)
Interrelation of equivariant Gaussian processes and convolutional neural networks [77.34726150561087]
現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
論文参考訳（メタデータ） (2022-09-17T17:02:35Z)
Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文参考訳（メタデータ） (2022-07-04T15:41:02Z)
A comparative study of back propagation and its alternatives on multilayer perceptrons [0.0]
フィードフォワードニューラルネットワークのバックパスをトレーニングするデファクトアルゴリズムはバックプロパゲーション(BP)であるほぼすべての異なるアクティベーション関数を使用することで、ディープニューラルネットワークの層を通して勾配を後方に伝播させるのが効率的かつ効果的になった。本稿では、畳み込みニューラルネットワーク(CNN)における予測とニューロンの安定性と類似性を解析し、その1つのアルゴリズムの新たなバリエーションを提案する。
論文参考訳（メタデータ） (2022-05-31T18:44:13Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
Geometry Perspective Of Estimating Learning Capability Of Neural Networks [0.0]
本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。一般化能力とニューラルネットワークの安定性との関係についても論じている。ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
論文参考訳（メタデータ） (2020-11-03T12:03:19Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Tangent Space Sensitivity and Distribution of Linear Regions in ReLU Networks [0.0]
我々は, 接空間における対角安定性を考察し, 安定度を特徴付けるために接空間感度を提案する。フィードフォワード完全連結ReLUネットワークに対する計算容易な境界と経験的測度を導出する。我々の実験は、単純な境界や測度でさえ経験的一般化ギャップと関連していることを示唆している。
論文参考訳（メタデータ） (2020-06-11T20:02:51Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。