論文の概要: Emergence of Latent Binary Encoding in Deep Neural Network Classifiers
- arxiv url: http://arxiv.org/abs/2310.08224v3
- Date: Fri, 1 Mar 2024 19:16:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 20:22:40.385497
- Title: Emergence of Latent Binary Encoding in Deep Neural Network Classifiers
- Title(参考訳): ディープニューラルネットワーク分類器における潜在バイナリエンコーディングの出現
- Authors: Luigi Sbail\`o and Luca Ghiringhelli
- Abstract要約: ディープ・ニューラル・ネットワーク分類器の潜時空間におけるバイナリエンコーディングの出現について検討する。
バイナリエンコーディングの出現はネットワークの堅牢性、信頼性、精度を大幅に向上させることを示した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the emergence of binary encoding within the latent space of
deep-neural-network classifiers. Such binary encoding is induced by the
integration of a linear penultimate layer, which employs during training a loss
function specifically designed to compress the latent representations. As a
result of a trade-off between compression and information retention, the
network learns to assume only one of two possible values for each dimension in
the latent space. The binary encoding is provoked by the collapse of all
representations of the same class to the same point, which corresponds to the
vertex of a hypercube, thereby creating the encoding. We demonstrate that the
emergence of binary encoding significantly enhances robustness, reliability and
accuracy of the network.
- Abstract(参考訳): ディープニューラルネットワーク分類器の潜在空間におけるバイナリエンコーディングの出現について検討する。
このようなバイナリエンコーディングは、トレーニング中に潜在表現を圧縮するために特別に設計された損失関数を使用する線形垂直層の統合によって誘導される。
圧縮と情報保持のトレードオフの結果、ネットワークは潜伏空間の各次元について2つの可能な値のうちの1つを仮定することを学ぶ。
二進符号化は、同じクラスのすべての表現が、ハイパーキューブの頂点に対応する同じ点に崩壊することで引き起こされ、符号化が生成される。
本稿では,バイナリエンコーディングの出現により,ネットワークのロバスト性,信頼性,精度が著しく向上することを示す。
関連論文リスト
- White-Box Transformers via Sparse Rate Reduction: Compression Is All
There Is? [28.507148793856388]
数学的に完全に解釈可能なCRATEという,ホワイトボックストランスフォーマーのようなディープネットワークアーキテクチャのファミリーを示す。
実験によると、これらのネットワークは単純さにもかかわらず、大規模な実世界の画像とテキストデータセットの表現を圧縮し、分散化することを学習している。
論文 参考訳(メタデータ) (2023-11-22T02:23:32Z) - Input Layer Binarization with Bit-Plane Encoding [4.872439392746007]
本稿では,入力データの8ビット表現を直接利用して,第1層をバイナライズする手法を提案する。
得られたモデルは完全にバイナライズされ、第1層バイナライズアプローチはモデル独立です。
論文 参考訳(メタデータ) (2023-05-04T14:49:07Z) - BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to
Real-Network Performance [54.214426436283134]
Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。
我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。
小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
論文 参考訳(メタデータ) (2022-11-13T18:31:45Z) - Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。
本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。
我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文 参考訳(メタデータ) (2022-02-09T18:48:02Z) - Double Encoder-Decoder Networks for Gastrointestinal Polyp Segmentation [19.338350044289736]
本稿では,一般的なエンコーダ・デコーダネットワークを直接拡張した意味的セグメンテーションに基づく内視鏡画像からの消化管ポリープのデライン化手法を提案する。
提案手法では,2つの事前学習エンコーダデコーダネットワークを順次積み重ねる。
二重エンコーダ・デコーダネットワークは、すべてのケースにおいて、それぞれのエンコーダ・デコーダネットワークよりも明らかに優れている。
論文 参考訳(メタデータ) (2021-10-05T11:07:42Z) - Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。
本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-09-18T00:21:17Z) - High-Capacity Expert Binary Networks [56.87581500474093]
ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。
メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。
本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
論文 参考訳(メタデータ) (2020-10-07T17:58:10Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳(メタデータ) (2020-09-08T13:10:21Z) - Rethinking and Improving Natural Language Generation with Layer-Wise
Multi-View Decoding [59.48857453699463]
シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。
近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。
本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
論文 参考訳(メタデータ) (2020-05-16T20:00:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。