Fugu-MT 論文翻訳(概要): Neural collapse with unconstrained features

論文の概要: Neural collapse with unconstrained features

arxiv url: http://arxiv.org/abs/2011.11619v1
Date: Mon, 23 Nov 2020 18:49:36 GMT
ステータス: 処理完了
システム内更新日: 2022-09-22 02:56:49.559860
Title: Neural collapse with unconstrained features
Title（参考訳）: 制約のない特徴を持つ神経崩壊
Authors: Dustin G. Mixon, Hans Parshall, Jianzong Pi
Abstract要約: 神経崩壊も経験的に発生する,単純な「制約のない特徴モデル」を提案する。このモデルを研究することによって、経験的リスクの景観の観点から、神経崩壊の発生について、いくつかの説明を提供する。
参考スコア（独自算出の注目度）: 4.941630596191806
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural collapse is an emergent phenomenon in deep learning that was recently discovered by Papyan, Han and Donoho. We propose a simple "unconstrained features model" in which neural collapse also emerges empirically. By studying this model, we provide some explanation for the emergence of neural collapse in terms of the landscape of empirical risk.
Abstract（参考訳）: 神経崩壊は、最近パパヤン、ハン、ドノホによって発見された深層学習における創発的な現象である。神経崩壊も経験的に発生する,単純な「制約のない特徴モデル」を提案する。このモデルを研究することで、経験的リスクの展望の観点から、神経崩壊の発生についていくつかの説明を与える。

関連論文リスト

The Persistence of Neural Collapse Despite Low-Rank Bias: An Analytic Perspective Through Unconstrained Features [0.0]
ディープニューラルネットワークは最終層の特徴と重みにおいて単純な構造を示し、一般に神経崩壊と呼ばれる。最近の知見は、そのような構造は、深い制約のない特徴モデルでは一般的に最適ではないことを示している。これは正則化によって引き起こされる低ランクバイアスによるもので、これは一般的に深い神経崩壊に関連するものよりも低いランクの解を好む。
論文参考訳（メタデータ） (2024-10-30T16:20:39Z)
Confidence Regulation Neurons in Language Models [91.90337752432075]
本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
論文参考訳（メタデータ） (2024-06-24T01:31:03Z)
On the Robustness of Neural Collapse and the Neural Collapse of Robustness [6.227447957721122]
ニューラル・コラプス(Neural Collapse)は、ニューラルネットワークのトレーニングの終盤において、特徴ベクトルと分類重みが非常に単純な幾何学的配置(単純度)に収束する奇妙な現象を指す。これらの単純さの安定性について検討し、単純な構造は小さな対角攻撃によって消失することを示した。我々は、ロバストな機械学習モデルと非ロバストな機械学習モデルの斬新な特性を識別し、以前の階層とは異なり、摂動データに対する信頼性の高い単純化を維持していることを示す。
論文参考訳（メタデータ） (2023-11-13T16:18:58Z)
Generalized Neural Collapse for a Large Number of Classes [33.46269920297418]
本研究では,実用的な深層ニューラルネットワークにおける一般化された神経崩壊の発生を実証するための実証的研究を行う。球面制約のある非拘束特徴モデルの下で、一般化された神経崩壊が確実に発生することを示す理論的研究を行う。
論文参考訳（メタデータ） (2023-10-09T02:27:04Z)
Catastrophic overfitting can be induced with discriminative non-robust features [95.07189577345059]
自然画像の典型的データセットの制御による一段階AT法におけるCOの開始について検討した。本研究は, 一見無害な画像の注入により, 従来よりはるかに小さいエプシロン$値でCOを誘導できることを示唆する。
論文参考訳（メタデータ） (2022-06-16T15:22:39Z)
Neural Collapse: A Review on Modelling Principles and Generalization [0.0]
神経崩壊は基本的に、最終隠蔽層出力のクラス内変動が無限小である状態を表す。この状態の単純さにもかかわらず、それに到達するための力学と意味はまだ完全には理解されていない。
論文参考訳（メタデータ） (2022-06-08T17:55:28Z)
Limitations of Neural Collapse for Understanding Generalization in Deep Learning [25.48346719747956]
パパヤン、ハン、ドノホの最近の研究は興味深い「ニューラル崩壊」現象を示した。私たちのモチベーションは、この研究プログラムの上限を研究することです。
論文参考訳（メタデータ） (2022-02-17T00:20:12Z)
Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
論文参考訳（メタデータ） (2022-02-16T14:17:37Z)
The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文参考訳（メタデータ） (2021-07-02T01:55:18Z)
ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
論文参考訳（メタデータ） (2021-03-26T02:42:38Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。