論文の概要: Emergence of Latent Binary Encoding in Deep Neural Network Classifiers

• arxiv url: http://arxiv.org/abs/2310.08224v4
• Date: Tue, 28 May 2024 06:55:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 04:17:08.428205
• Title: Emergence of Latent Binary Encoding in Deep Neural Network Classifiers
• Title（参考訳）: ディープニューラルネットワーク分類器における潜時バイナリ符号化の創発
• Authors: Luigi Sbailò, Luca Ghiringhelli,
• Abstract要約: ディープ・ニューラル・ネットワーク分類器の潜時空間におけるバイナリエンコーディングの出現について検討する。 複雑性が増大するいくつかのデータセットを解析することにより、バイナリエンコーディングの出現がロバスト性を大幅に向上させるという実証的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the emergence of binary encoding within the latent space of deep-neural-network classifiers. Such binary encoding is induced by the introduction of a linear penultimate layer, which employs during training a loss function specifically designed to compress the latent representations. As a result of a trade-off between compression and information retention, the network learns to assume only one of two possible values for each dimension in the latent space. The binary encoding is provoked by the collapse of all representations of the same class to the same point, which corresponds to the vertex of a hypercube. By analyzing several datasets of increasing complexity, we provide empirical evidence that the emergence of binary encoding dramatically enhances robustness while also significantly improving the reliability and generalization of the network.
• Abstract（参考訳）: ディープ・ニューラル・ネットワーク分類器の潜時空間におけるバイナリエンコーディングの出現について検討する。 このようなバイナリエンコーディングは、トレーニング中に潜在表現を圧縮するために特別に設計された損失関数を使用する線形直列層の導入によって引き起こされる。 圧縮と情報保持のトレードオフの結果、ネットワークは潜伏空間の各次元について2つの可能な値のうちの1つを仮定することを学ぶ。 バイナリエンコーディングは、ハイパーキューブの頂点に対応する同じクラスのすべての表現を同じ点に崩壊させることによって引き起こされる。 複雑性を増大させるいくつかのデータセットを解析することにより、バイナリエンコーディングの出現がロバスト性を大幅に向上させ、ネットワークの信頼性と一般化を著しく改善する実証的証拠を提供する。

関連論文リスト

• Regressions on quantum neural networks at maximal expressivity [0.0]
  我々は、ネストした量子ビット回転の連続として構成できる普遍的な深部ニューラルネットワークの表現性を分析する。 最大表現力は、ネットワークの深さとキュービット数によって増大するが、基本的にはデータ符号化機構によって拘束される。
  論文  参考訳（メタデータ） (2023-11-10T14:43:24Z)
• BiBench: Benchmarking and Analyzing Network Binarization [72.59760752906757]
  ネットワークバイナライゼーションは、異常な計算とメモリ節約を提供する最も有望な圧縮手法の1つとして出現する。 精度劣化や効率制限といった双項化の一般的な課題は、その属性が完全には理解されていないことを示唆している。 ネットワークバイナライゼーションのための深度解析を用いた厳密に設計されたベンチマークであるBiBenchを提案する。
  論文  参考訳（メタデータ） (2023-01-26T17:17:16Z)
• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)
• Neural network is heterogeneous: Phase matters more [10.812772606528172]
  複素数値ニューラルネットワークにおいて, 位相情報のみを保存した重み行列は, 異なる種類のプルーニングにおいて, 最良の精度が得られることを示す。 この結論は、信号が位相に取って代わる実数値ニューラルネットワークに一般化することができる。
  論文  参考訳（メタデータ） (2021-11-03T04:30:20Z)
• Latent Code-Based Fusion: A Volterra Neural Network Approach [21.25021807184103]
  最近導入されたVolterra Neural Networks(VNN)を用いた深層構造エンコーダを提案する。 提案手法は,cnnベースのオートエンコーダに対して,より頑健な分類性能を持つサンプル複雑性を示す。
  論文  参考訳（メタデータ） (2021-04-10T18:29:01Z)
• High-Capacity Expert Binary Networks [56.87581500474093]
  ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。 メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。 本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:58:10Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)
• BiDet: An Efficient Binarized Object Detector [96.19708396510894]
  本稿では,効率的な物体検出のためのバイナライズニューラルネットワークのBiDetを提案する。 我々のBiDetは、冗長除去による物体検出にバイナリニューラルネットワークの表現能力を完全に活用している。 我々の手法は、最先端のバイナリニューラルネットワークを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2020-03-09T08:16:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。