論文の概要: Latent Point Collapse on a Low Dimensional Embedding in Deep Neural Network Classifiers

• arxiv url: http://arxiv.org/abs/2310.08224v5
• Date: Sat, 08 Feb 2025 11:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:24:53.592627
• Title: Latent Point Collapse on a Low Dimensional Embedding in Deep Neural Network Classifiers
• Title（参考訳）: ディープニューラルネットワーク分類器における低次元埋め込みにおける潜時点崩壊
• Authors: Luigi Sbailò, Luca Ghiringhelli,
• Abstract要約: 同一クラスに属する潜在表現の崩壊を単一点に誘導する手法を提案する。 提案されたアプローチは実装が簡単で、非ネイティブな機能埋め込みを大幅に改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The configuration of latent representations plays a critical role in determining the performance of deep neural network classifiers. In particular, the emergence of well-separated class embeddings in the latent space has been shown to improve both generalization and robustness. In this paper, we propose a method to induce the collapse of latent representations belonging to the same class into a single point, which enhances class separability in the latent space while enforcing Lipschitz continuity in the network. We demonstrate that this phenomenon, which we call \textit{latent point collapse}, is achieved by adding a strong $L_2$ penalty on the penultimate-layer representations and is the result of a push-pull tension developed with the cross-entropy loss function. In addition, we show the practical utility of applying this compressing loss term to the latent representations of a low-dimensional linear penultimate layer. The proposed approach is straightforward to implement and yields substantial improvements in discriminative feature embeddings, along with remarkable gains in robustness to input perturbations.
• Abstract（参考訳）: 潜時表現の構成は、ディープニューラルネットワーク分類器の性能を決定する上で重要な役割を果たす。 特に、潜在空間におけるよく分離されたクラス埋め込みの出現は、一般化と堅牢性の両方を改善することが示されている。 本稿では,同一クラスに属する潜在表現の単一点への崩壊を誘導する手法を提案し,ネットワークにおけるリプシッツ連続性を強制しながら,潜在空間におけるクラス分離性を高める。 我々は、この現象を「textit{latent point collapse}」と呼び、強の$L_2$のペナルティを五重項表現に加えることによって達成し、クロスエントロピー損失関数で発達したプッシュプルテンションの結果であることを示した。 さらに, この圧縮損失項を低次元線形直列層の潜在表現に適用する実用性を示す。 提案手法は容易に実装でき,識別的特徴埋め込みの大幅な改善と,入力摂動に対するロバスト性の顕著な向上をもたらす。

関連論文リスト

• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks [7.090165638014331]
  一定の層幅とスムーズな活性化関数を持つ深層残留ネットワークのトレーニングにおいて,勾配勾配の線形収束性を大域最小限に証明する。 トレーニングされた重みは、層指数の関数として、ネットワークの深さが無限大になる傾向にあるため、H"古い"スケーリング制限が連続であることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:50:28Z)
• An Intermediate-level Attack Framework on The Basis of Linear Regression [89.85593878754571]
  本論文はECCVにおいて,いくつかのベースライン対向例の転送性を改善するため,中間レベルアタック(中間レベルアタック)を提案し,本研究を実質的に拡張するものである。 我々は,中間レベルの相違点(対角的特徴と良性的特徴)から,対角的例の分類的損失への直接的な線形写像の確立を提唱する。 1) 様々な線形回帰モデルがマッピングを確立するために考慮可能であること,2) 最終的に得られた中間レベル差の大きさが逆転率と線形に相関していること,3) ベースラインアタックを複数回実行することで,さらなる性能向上が達成できること,などが示される。
  論文  参考訳（メタデータ） (2022-03-21T03:54:53Z)
• Discriminability-enforcing loss to improve representation learning [20.4701676109641]
  我々は、個々の高次特徴のエントロピーを最小化するために、ジニ不純物にインスパイアされた新しい損失項を導入する。 我々のGini損失は高い差別的特徴をもたらすが、高レベルの特徴の分布がクラスの分布と一致していることを保証するものではない。 実験結果から,新たな損失項をトレーニング目標に組み込むことで,クロスエントロピー単独でトレーニングしたモデルよりも一貫して優れた結果が得られた。
  論文  参考訳（メタデータ） (2022-02-14T22:31:37Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
  非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。 このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。 また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
  論文  参考訳（メタデータ） (2021-10-06T14:18:47Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Eccentric Regularization: Minimizing Hyperspherical Energy without explicit projection [0.913755431537592]
  アイテム間の一対の反発力をシミュレートする新しい正規化損失関数を紹介します。 この損失関数を分離して最小化すると超球面分布が得られることを示す。 本稿では,この偏心正規化手法をオートエンコーダに適用し,画像生成,表現学習,下流分類タスクにおいてその効果を示す。
  論文  参考訳（メタデータ） (2021-04-23T13:55:17Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
  勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。 我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
  論文  参考訳（メタデータ） (2020-02-11T15:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。