論文の概要: Latent Point Collapse on a Low Dimensional Embedding in Deep Neural Network Classifiers

• arxiv url: http://arxiv.org/abs/2310.08224v5
• Date: Sat, 08 Feb 2025 11:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:24:53.592627
• Title: Latent Point Collapse on a Low Dimensional Embedding in Deep Neural Network Classifiers
• Title（参考訳）: ディープニューラルネットワーク分類器における低次元埋め込みにおける潜時点崩壊
• Authors: Luigi Sbailò, Luca Ghiringhelli,
• Abstract要約: 同一クラスに属する潜在表現の崩壊を単一点に誘導する手法を提案する。 提案されたアプローチは実装が簡単で、非ネイティブな機能埋め込みを大幅に改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The configuration of latent representations plays a critical role in determining the performance of deep neural network classifiers. In particular, the emergence of well-separated class embeddings in the latent space has been shown to improve both generalization and robustness. In this paper, we propose a method to induce the collapse of latent representations belonging to the same class into a single point, which enhances class separability in the latent space while enforcing Lipschitz continuity in the network. We demonstrate that this phenomenon, which we call \textit{latent point collapse}, is achieved by adding a strong $L_2$ penalty on the penultimate-layer representations and is the result of a push-pull tension developed with the cross-entropy loss function. In addition, we show the practical utility of applying this compressing loss term to the latent representations of a low-dimensional linear penultimate layer. The proposed approach is straightforward to implement and yields substantial improvements in discriminative feature embeddings, along with remarkable gains in robustness to input perturbations.
• Abstract（参考訳）: 潜時表現の構成は、ディープニューラルネットワーク分類器の性能を決定する上で重要な役割を果たす。 特に、潜在空間におけるよく分離されたクラス埋め込みの出現は、一般化と堅牢性の両方を改善することが示されている。 本稿では,同一クラスに属する潜在表現の単一点への崩壊を誘導する手法を提案し,ネットワークにおけるリプシッツ連続性を強制しながら,潜在空間におけるクラス分離性を高める。 我々は、この現象を「textit{latent point collapse}」と呼び、強の$L_2$のペナルティを五重項表現に加えることによって達成し、クロスエントロピー損失関数で発達したプッシュプルテンションの結果であることを示した。 さらに, この圧縮損失項を低次元線形直列層の潜在表現に適用する実用性を示す。 提案手法は容易に実装でき,識別的特徴埋め込みの大幅な改善と,入力摂動に対するロバスト性の顕著な向上をもたらす。

関連論文リスト

• Reversible Decoupling Network for Single Image Reflection Removal [15.763420129991255]
  高レベルのセマンティックなヒントは、層間伝播中に圧縮または破棄される傾向がある。 我々はReversible Decoupling Network (RDNet)と呼ばれる新しいアーキテクチャを提案する。 RDNetは可逆エンコーダを使用して、転送時と反射時の特徴を柔軟に分離しながら、貴重な情報を確保する。
  論文  参考訳（メタデータ） (2024-10-10T15:58:27Z)
• Regressions on quantum neural networks at maximal expressivity [0.0]
  我々は、ネストした量子ビット回転の連続として構成できる普遍的な深部ニューラルネットワークの表現性を分析する。 最大表現力は、ネットワークの深さとキュービット数によって増大するが、基本的にはデータ符号化機構によって拘束される。
  論文  参考訳（メタデータ） (2023-11-10T14:43:24Z)
• BiBench: Benchmarking and Analyzing Network Binarization [72.59760752906757]
  ネットワークバイナライゼーションは、異常な計算とメモリ節約を提供する最も有望な圧縮手法の1つとして出現する。 精度劣化や効率制限といった双項化の一般的な課題は、その属性が完全には理解されていないことを示唆している。 ネットワークバイナライゼーションのための深度解析を用いた厳密に設計されたベンチマークであるBiBenchを提案する。
  論文  参考訳（メタデータ） (2023-01-26T17:17:16Z)
• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)
• Neural network is heterogeneous: Phase matters more [10.812772606528172]
  複素数値ニューラルネットワークにおいて, 位相情報のみを保存した重み行列は, 異なる種類のプルーニングにおいて, 最良の精度が得られることを示す。 この結論は、信号が位相に取って代わる実数値ニューラルネットワークに一般化することができる。
  論文  参考訳（メタデータ） (2021-11-03T04:30:20Z)
• High-Capacity Expert Binary Networks [56.87581500474093]
  ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。 メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。 本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:58:10Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)
• BiDet: An Efficient Binarized Object Detector [96.19708396510894]
  本稿では,効率的な物体検出のためのバイナライズニューラルネットワークのBiDetを提案する。 我々のBiDetは、冗長除去による物体検出にバイナリニューラルネットワークの表現能力を完全に活用している。 我々の手法は、最先端のバイナリニューラルネットワークを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2020-03-09T08:16:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。