論文の概要: Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective
- arxiv url: http://arxiv.org/abs/2410.23391v1
- Date: Wed, 30 Oct 2024 18:50:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 17:01:15.411677
- Title: Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective
- Title（参考訳）: ニューラルネットワークによる深部平衡モデルの表現理解
- Authors: Haixiang sun, Ye Shi,
- Abstract要約: 我々は、バランスの取れた状態と不均衡な状態の両方において、DECの表現を体系的に解析するツールとして、Neural Collapse(mathcalNC$)を使用している。
マイノリティ崩壊が存在するにもかかわらず、DEC に $mathcalNC$ が存在することを示す。
不均衡な環境では、マイノリティ崩壊があるにもかかわらず、DECは明示的なニューラルネットワークよりも有利であることを示した。
- 参考スコア（独自算出の注目度）: 4.362293468843233
- License:
- Abstract: Deep Equilibrium Model (DEQ), which serves as a typical implicit neural network, emphasizes their memory efficiency and competitive performance compared to explicit neural networks. However, there has been relatively limited theoretical analysis on the representation of DEQ. In this paper, we utilize the Neural Collapse ($\mathcal{NC}$) as a tool to systematically analyze the representation of DEQ under both balanced and imbalanced conditions. $\mathcal{NC}$ is an interesting phenomenon in the neural network training process that characterizes the geometry of class features and classifier weights. While extensively studied in traditional explicit neural networks, the $\mathcal{NC}$ phenomenon has not received substantial attention in the context of implicit neural networks. We theoretically show that $\mathcal{NC}$ exists in DEQ under balanced conditions. Moreover, in imbalanced settings, despite the presence of minority collapse, DEQ demonstrated advantages over explicit neural networks. These advantages include the convergence of extracted features to the vertices of a simplex equiangular tight frame and self-duality properties under mild conditions, highlighting DEQ's superiority in handling imbalanced datasets. Finally, we validate our theoretical analyses through experiments in both balanced and imbalanced scenarios.
- Abstract（参考訳）: 典型的な暗黙ニューラルネットワークとして機能するDeep Equilibrium Model (DEQ)は、明示的なニューラルネットワークと比較して、メモリ効率と競合性能を強調している。
しかし、DECの表現については比較的限定的な理論分析がなされている。
本稿では、バランスの取れた状態と不均衡な状態の両方におけるDECの表現を体系的に解析するツールとして、Neural Collapse(\mathcal{NC}$)を利用する。
$\mathcal{NC}$は、クラス特徴と分類器重みの幾何学を特徴付けるニューラルネットワークトレーニングプロセスにおける興味深い現象である。
従来の明示的ニューラルネットワークでは広く研究されているが、$\mathcal{NC}$現象は暗黙的ニューラルネットワークの文脈では大きな注目を集めていない。
理論的には、平衡条件下では$\mathcal{NC}$ が DEQ に存在することが示される。
さらに、マイノリティ崩壊があるにもかかわらず、不均衡な環境では、DECは明示的なニューラルネットワークよりも有利であることを示した。
これらの利点には、単純で等角なフレームの頂点への抽出された特徴の収束や、穏やかな条件下での自己双対性などが含まれており、不均衡なデータセットを扱う上でのDECの優位性を強調している。
最後に、バランスの取れたシナリオと不均衡なシナリオの両方の実験を通して理論解析を検証する。
関連論文リスト
- Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - Towards Understanding Neural Collapse: The Effects of Batch Normalization and Weight Decay [0.6813925418351435]
ニューラル・コラプス(Neural Collapse, NC)は、深層ニューラルネットワークの終端で最近観測された幾何学的構造である。
我々は,バッチ正規化(BN)と重量減衰(WD)がNCの出現に重大な影響を及ぼすことを示した。
実験では, モデルがBN, 適切なWD値, 損失の低減, 最終層特徴ノルムの低下により, NCの存在感が強くなることを示した。
論文 参考訳（メタデータ） (2023-09-09T00:05:45Z) - Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced
Data [12.225207401994737]
大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。
特に、最終層の特徴がクラス平均に崩壊することが観察されている。
本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
論文 参考訳（メタデータ） (2023-01-01T16:29:56Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Neural net modeling of equilibria in NSTX-U [0.0]
我々は平衡モデルと形状制御モデルに関連する2つのニューラルネットワークを開発する。
ネットワークにはEFIT01再構成アルゴリズムでトレーニングされた自由境界均衡解法であるEqnetと、Gspert符号でトレーニングされたPertnetが含まれる。
本報告では,これらのモデルが閉ループシミュレーションで確実に使用できることを示す。
論文 参考訳（メタデータ） (2022-02-28T16:09:58Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Infinite Neural Network Quantum States: Entanglement and Training
Dynamics [1.0878040851638]
我々は、アンサンブル統計による表現力を示すニューラルネットワーク量子状態(infty$-NNQS)の無限限界について研究する。
ニューラルネットワーク量子状態の勾配降下ダイナミクスを研究するための一般的なフレームワークを開発した。
$infty$-NNQSは、他の物理学応用における絡み合いの研究とトレーニングの新たな機会を開く。
論文 参考訳（メタデータ） (2021-12-01T18:57:17Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Witten-type topological field theory of self-organized criticality for
stochastic neural networks [1.2891210250935146]
ニューラルネットワークに対する自己組織的臨界性のウィッテン型トポロジカル場理論について検討する。
ドリフト係数のばらつきが小さく、不安定であれば、ニューラルネットワークのモデルはBRSTである。
論文 参考訳（メタデータ） (2021-06-21T04:37:29Z) - Formalizing Generalization and Robustness of Neural Networks to Weight
Perturbations [58.731070632586594]
非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。
また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
論文 参考訳（メタデータ） (2021-03-03T06:17:03Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。