論文の概要: On the Robustness of Neural Collapse and the Neural Collapse of Robustness
- arxiv url: http://arxiv.org/abs/2311.07444v2
- Date: Wed, 13 Nov 2024 14:39:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-14 16:08:35.872974
- Title: On the Robustness of Neural Collapse and the Neural Collapse of Robustness
- Title（参考訳）: 神経崩壊のロバスト性と神経崩壊のロバスト性について
- Authors: Jingtong Su, Ya Shi Zhang, Nikolaos Tsilivis, Julia Kempe,
- Abstract要約: ニューラル・コラプス(Neural Collapse)は、ニューラルネットワークのトレーニングの終盤において、特徴ベクトルと分類重みが非常に単純な幾何学的配置(単純度)に収束する奇妙な現象を指す。
これらの単純さの安定性について検討し、単純な構造は小さな対角攻撃によって消失することを示した。
我々は、ロバストな機械学習モデルと非ロバストな機械学習モデルの斬新な特性を識別し、以前の階層とは異なり、摂動データに対する信頼性の高い単純化を維持していることを示す。
- 参考スコア（独自算出の注目度）: 6.227447957721122
- License:
- Abstract: Neural Collapse refers to the curious phenomenon in the end of training of a neural network, where feature vectors and classification weights converge to a very simple geometrical arrangement (a simplex). While it has been observed empirically in various cases and has been theoretically motivated, its connection with crucial properties of neural networks, like their generalization and robustness, remains unclear. In this work, we study the stability properties of these simplices. We find that the simplex structure disappears under small adversarial attacks, and that perturbed examples "leap" between simplex vertices. We further analyze the geometry of networks that are optimized to be robust against adversarial perturbations of the input, and find that Neural Collapse is a pervasive phenomenon in these cases as well, with clean and perturbed representations forming aligned simplices, and giving rise to a robust simple nearest-neighbor classifier. By studying the propagation of the amount of collapse inside the network, we identify novel properties of both robust and non-robust machine learning models, and show that earlier, unlike later layers maintain reliable simplices on perturbed data. Our code is available at https://github.com/JingtongSu/robust_neural_collapse .
- Abstract（参考訳）: ニューラル・コラプス(Neural Collapse)とは、ニューラルネットワークのトレーニングの終盤において、特徴ベクトルと分類重みが非常に単純な幾何学的配置(単純度)に収束する奇妙な現象を指す。
様々なケースで経験的に観察され、理論的な動機付けがなされてきたが、ニューラルネットワークの重要な性質(一般化や堅牢性など)との関係はいまだ不明である。
本研究では,これらの単純さの安定性について検討する。
単純な頂点構造は、小さな逆攻撃によって消失し、単純な頂点間の乱れの例は「ピーク」となる。
さらに、入力の対向的摂動に対して頑健に最適化されたネットワークの幾何学を解析し、ニューラル・コラプスはこれらの場合においても広汎な現象であり、クリーンで摂動的な表現が整列した単純化を形成し、頑健な単純な近傍分類器を生み出すことを発見した。
ネットワーク内の崩壊量の伝播を研究することにより、ロバスト機械学習モデルと非ロバスト機械学習モデルの両方の新たな特性を同定し、後続のレイヤとは異なり、摂動データに対する信頼性の高い簡易性を維持していることを示す。
私たちのコードはhttps://github.com/JingtongSu/robust_neural_collapseで利用可能です。
関連論文リスト
- Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳（メタデータ） (2024-05-12T22:18:25Z) - Navigate Beyond Shortcuts: Debiased Learning through the Lens of Neural Collapse [19.279084204631204]
我々はニューラル・コラプスの調査を、不均衡な属性を持つバイアス付きデータセットに拡張する。
追加の訓練複雑性を伴わない回避ショートカット学習フレームワークを提案する。
ニューラル・コラプス構造に基づくよく設計されたショートカット素数では、モデルは単純なショートカットの追求を省略することが推奨される。
論文 参考訳（メタデータ） (2024-05-09T07:23:37Z) - Neural Collapse: A Review on Modelling Principles and Generalization [0.0]
神経崩壊は基本的に、最終隠蔽層出力のクラス内変動が無限小である状態を表す。
この状態の単純さにもかかわらず、それに到達するための力学と意味はまだ完全には理解されていない。
論文 参考訳（メタデータ） (2022-06-08T17:55:28Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。
リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。
BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
論文 参考訳（メタデータ） (2021-12-13T17:35:54Z) - An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。
このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。
また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
論文 参考訳（メタデータ） (2021-10-06T14:18:47Z) - Correlation Analysis between the Robustness of Sparse Neural Networks
and their Random Hidden Structural Priors [0.0]
本稿では,グラフ理論特性とスパースニューラルネットワークの頑健性との間にある既存の相関関係について検討することを目的とする。
我々の仮説は、ニューラルネットワーク構造の前駆体としてのグラフ理論的性質は、その堅牢性に関係している、というものである。
論文 参考訳（メタデータ） (2021-07-13T15:13:39Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Exploring Deep Neural Networks via Layer-Peeled Model: Minority Collapse
in Imbalanced Training [39.137793683411424]
解析的に抽出できない最適化プログラムである textitLayer-Peeled Model を導入する。
このモデルでは,よく訓練されたネットワークの特徴の多くを継承し,ディープラーニング学習の一般的な経験的パターンを説明・予測するための効果的なツールを提供する。
特に,本モデルでは,テキストマイノリティ崩壊(textitMinority Collapse)という,マイノリティクラスにおけるディープラーニングモデルの性能を根本的に制限する未知の現象が明らかにされている。
論文 参考訳（メタデータ） (2021-01-29T17:37:17Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Hyperbolic Neural Networks++ [66.16106727715061]
ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。
実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
論文 参考訳（メタデータ） (2020-06-15T08:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。