Fugu-MT 論文翻訳(概要): Geometric Analysis of Unconstrained Feature Models with $d=K$

論文の概要: Geometric Analysis of Unconstrained Feature Models with $d=K$

arxiv url: http://arxiv.org/abs/2407.10702v1
Date: Mon, 15 Jul 2024 13:17:48 GMT
ステータス: 処理完了
システム内更新日: 2024-07-16 15:11:40.922330
Title: Geometric Analysis of Unconstrained Feature Models with $d=K$
Title（参考訳）: $d=K$の制約のない特徴モデルの幾何学的解析
Authors: Shao Gu, Yi Shen,
Abstract要約: 2つの人気の制約のない特徴モデルが厳密なサドル関数であり、すべての臨界点が大域的最小点か、負の曲率で退避できる厳密なサドル点であることを示す。主要な発見は、前回の記事における制約のない特徴モデルに関する予想を確定的に裏付けるものである。
参考スコア（独自算出の注目度）: 2.01030009289749
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, interesting empirical phenomena known as Neural Collapse have been observed during the final phase of training deep neural networks for classification tasks. We examine this issue when the feature dimension d is equal to the number of classes K. We demonstrate that two popular unconstrained feature models are strict saddle functions, with every critical point being either a global minimum or a strict saddle point that can be exited using negative curvatures. The primary findings conclusively confirm the conjecture on the unconstrained feature models in previous articles.
Abstract（参考訳）: 近年、分類タスクのためのディープニューラルネットワークのトレーニングの最終段階で、ニューラル崩壊と呼ばれる興味深い経験的現象が観察されている。我々は、2つの人気の非制約特徴モデルが厳密なサドル関数であり、すべての臨界点は大域的最小点か、負の曲率を使って退避できる厳密なサドル点のいずれかであることを示した。主要な発見は、前回の記事における制約のない特徴モデルに関する予想を確定的に裏付けるものである。

関連論文リスト

On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文参考訳（メタデータ） (2023-12-13T02:11:07Z)
A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文参考訳（メタデータ） (2023-11-13T01:48:08Z)
Generalized Neural Collapse for a Large Number of Classes [33.46269920297418]
本研究では,実用的な深層ニューラルネットワークにおける一般化された神経崩壊の発生を実証するための実証的研究を行う。球面制約のある非拘束特徴モデルの下で、一般化された神経崩壊が確実に発生することを示す理論的研究を行う。
論文参考訳（メタデータ） (2023-10-09T02:27:04Z)
Predicting and Enhancing the Fairness of DNNs with the Curvature of Perceptual Manifolds [44.79535333220044]
近年の研究では、テールクラスは必ずしも学習が困難ではないことが示されており、サンプルバランスのデータセットではモデルバイアスが観察されている。本研究ではまず,モデルフェアネスを解析するための幾何学的視点を確立し,次いで,一連の幾何学的測度を体系的に提案する。
論文参考訳（メタデータ） (2023-03-22T04:49:23Z)
Perturbation Analysis of Neural Collapse [24.94449183555951]
分類のためのディープニューラルネットワークのトレーニングには、ゼロトレーニングエラー点を超えるトレーニング損失を最小限にすることが含まれる。最近の研究は、全ての最小化器が正確な崩壊を示す理想化された制約のない特徴モデルを通して、この挙動を分析している。本稿では,この現象を,予め定義された特徴行列の近傍に留まらせることで,よりリッチなモデルを提案する。
論文参考訳（メタデータ） (2022-10-29T17:46:03Z)
Neural Collapse with Normalized Features: A Geometric Analysis over the Riemannian Manifold [30.3185037354742]
分類タスクのための正規化されたディープネットワーク上でのトレーニングでは、学習された特徴はいわゆる「神経崩壊」現象を示す。特徴正規化により、より良い表現をより早く学習できることが示される。
論文参考訳（メタデータ） (2022-09-19T17:26:32Z)
Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文参考訳（メタデータ） (2021-12-06T18:17:08Z)
Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文参考訳（メタデータ） (2021-10-21T07:28:11Z)
An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
論文参考訳（メタデータ） (2021-10-06T14:18:47Z)
A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文参考訳（メタデータ） (2020-10-27T17:56:14Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。