論文の概要: On the Robustness of Neural Collapse and the Neural Collapse of Robustness
- arxiv url: http://arxiv.org/abs/2311.07444v2
- Date: Wed, 13 Nov 2024 14:39:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-14 16:08:35.872974
- Title: On the Robustness of Neural Collapse and the Neural Collapse of Robustness
- Title（参考訳）: 神経崩壊のロバスト性と神経崩壊のロバスト性について
- Authors: Jingtong Su, Ya Shi Zhang, Nikolaos Tsilivis, Julia Kempe,
- Abstract要約: ニューラル・コラプス(Neural Collapse)は、ニューラルネットワークのトレーニングの終盤において、特徴ベクトルと分類重みが非常に単純な幾何学的配置(単純度)に収束する奇妙な現象を指す。
これらの単純さの安定性について検討し、単純な構造は小さな対角攻撃によって消失することを示した。
我々は、ロバストな機械学習モデルと非ロバストな機械学習モデルの斬新な特性を識別し、以前の階層とは異なり、摂動データに対する信頼性の高い単純化を維持していることを示す。
- 参考スコア（独自算出の注目度）: 6.227447957721122
- License:
- Abstract: Neural Collapse refers to the curious phenomenon in the end of training of a neural network, where feature vectors and classification weights converge to a very simple geometrical arrangement (a simplex). While it has been observed empirically in various cases and has been theoretically motivated, its connection with crucial properties of neural networks, like their generalization and robustness, remains unclear. In this work, we study the stability properties of these simplices. We find that the simplex structure disappears under small adversarial attacks, and that perturbed examples "leap" between simplex vertices. We further analyze the geometry of networks that are optimized to be robust against adversarial perturbations of the input, and find that Neural Collapse is a pervasive phenomenon in these cases as well, with clean and perturbed representations forming aligned simplices, and giving rise to a robust simple nearest-neighbor classifier. By studying the propagation of the amount of collapse inside the network, we identify novel properties of both robust and non-robust machine learning models, and show that earlier, unlike later layers maintain reliable simplices on perturbed data. Our code is available at https://github.com/JingtongSu/robust_neural_collapse .
- Abstract（参考訳）: ニューラル・コラプス(Neural Collapse)とは、ニューラルネットワークのトレーニングの終盤において、特徴ベクトルと分類重みが非常に単純な幾何学的配置(単純度)に収束する奇妙な現象を指す。
様々なケースで経験的に観察され、理論的な動機付けがなされてきたが、ニューラルネットワークの重要な性質(一般化や堅牢性など)との関係はいまだ不明である。
本研究では,これらの単純さの安定性について検討する。
単純な頂点構造は、小さな逆攻撃によって消失し、単純な頂点間の乱れの例は「ピーク」となる。
さらに、入力の対向的摂動に対して頑健に最適化されたネットワークの幾何学を解析し、ニューラル・コラプスはこれらの場合においても広汎な現象であり、クリーンで摂動的な表現が整列した単純化を形成し、頑健な単純な近傍分類器を生み出すことを発見した。
ネットワーク内の崩壊量の伝播を研究することにより、ロバスト機械学習モデルと非ロバスト機械学習モデルの両方の新たな特性を同定し、後続のレイヤとは異なり、摂動データに対する信頼性の高い簡易性を維持していることを示す。
私たちのコードはhttps://github.com/JingtongSu/robust_neural_collapseで利用可能です。
関連論文リスト
- Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳（メタデータ） (2024-05-12T22:18:25Z) - Navigate Beyond Shortcuts: Debiased Learning through the Lens of Neural Collapse [19.279084204631204]
我々はニューラル・コラプスの調査を、不均衡な属性を持つバイアス付きデータセットに拡張する。
追加の訓練複雑性を伴わない回避ショートカット学習フレームワークを提案する。
ニューラル・コラプス構造に基づくよく設計されたショートカット素数では、モデルは単純なショートカットの追求を省略することが推奨される。
論文 参考訳（メタデータ） (2024-05-09T07:23:37Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Neural Collapse: A Review on Modelling Principles and Generalization [0.0]
神経崩壊は基本的に、最終隠蔽層出力のクラス内変動が無限小である状態を表す。
この状態の単純さにもかかわらず、それに到達するための力学と意味はまだ完全には理解されていない。
論文 参考訳（メタデータ） (2022-06-08T17:55:28Z) - BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。
リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。
BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
論文 参考訳（メタデータ） (2021-12-13T17:35:54Z) - Correlation Analysis between the Robustness of Sparse Neural Networks
and their Random Hidden Structural Priors [0.0]
本稿では,グラフ理論特性とスパースニューラルネットワークの頑健性との間にある既存の相関関係について検討することを目的とする。
我々の仮説は、ニューラルネットワーク構造の前駆体としてのグラフ理論的性質は、その堅牢性に関係している、というものである。
論文 参考訳（メタデータ） (2021-07-13T15:13:39Z) - Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。
このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。
我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
論文 参考訳（メタデータ） (2021-03-05T08:45:43Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Adversarial Perturbations Are Not So Weird: Entanglement of Robust and
Non-Robust Features in Neural Network Classifiers [4.511923587827301]
標準的な方法でトレーニングされたニューラルネットワークでは、ロバストでない機能は、小さな"非セマンティック"パターンに反応する。
逆の例は、これらの小さな絡み合ったパターンに対する、最小限の摂動によって形成できます。
論文 参考訳（メタデータ） (2021-02-09T20:21:31Z) - Exploring Deep Neural Networks via Layer-Peeled Model: Minority Collapse
in Imbalanced Training [39.137793683411424]
解析的に抽出できない最適化プログラムである textitLayer-Peeled Model を導入する。
このモデルでは,よく訓練されたネットワークの特徴の多くを継承し,ディープラーニング学習の一般的な経験的パターンを説明・予測するための効果的なツールを提供する。
特に,本モデルでは,テキストマイノリティ崩壊(textitMinority Collapse)という,マイノリティクラスにおけるディープラーニングモデルの性能を根本的に制限する未知の現象が明らかにされている。
論文 参考訳（メタデータ） (2021-01-29T17:37:17Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。