Fugu-MT 論文翻訳(概要): Controlling Information Capacity of Binary Neural Network

論文の概要: Controlling Information Capacity of Binary Neural Network

arxiv url: http://arxiv.org/abs/2008.01438v1
Date: Tue, 4 Aug 2020 10:08:28 GMT
ステータス: 処理完了
システム内更新日: 2022-11-02 23:11:45.168049
Title: Controlling Information Capacity of Binary Neural Network
Title（参考訳）: 二元ニューラルネットワークの情報容量制御
Authors: Dmitry Ignatov and Andrey Ignatov
Abstract要約: 本稿では、トレーニングプロセスを通して、情報容量の安定的な事前定義されたレベルを維持するバイナリネットワークのトレーニング方法を提案する。 SVHN, CIFAR, ImageNetデータセットを用いて行った実験の結果, 提案手法がバイナリネットワークの精度を統計的に向上することを示した。
参考スコア（独自算出の注目度）: 21.06914471328105
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite the growing popularity of deep learning technologies, high memory requirements and power consumption are essentially limiting their application in mobile and IoT areas. While binary convolutional networks can alleviate these problems, the limited bitwidth of weights is often leading to significant degradation of prediction accuracy. In this paper, we present a method for training binary networks that maintains a stable predefined level of their information capacity throughout the training process by applying Shannon entropy based penalty to convolutional filters. The results of experiments conducted on SVHN, CIFAR and ImageNet datasets demonstrate that the proposed approach can statistically significantly improve the accuracy of binary networks.
Abstract（参考訳）: ディープラーニング技術の人気が高まっているにもかかわらず、高いメモリ要件と消費電力は、モバイルとIoT領域におけるアプリケーションを制限する。バイナリ畳み込みネットワークはこれらの問題を緩和できるが、重量のビット幅の制限は予測精度を著しく低下させる。本稿では,シャノンエントロピーに基づくペナルティを畳み込みフィルタに適用することにより,学習過程を通じて情報容量の安定レベルを維持するバイナリネットワークのトレーニング手法を提案する。 SVHN, CIFAR, ImageNetデータセットを用いて行った実験の結果, 提案手法がバイナリネットワークの精度を統計的に向上することを示した。

関連論文リスト

BiDense: Binarization for Dense Prediction [62.70804353158387]
BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
論文参考訳（メタデータ） (2024-11-15T16:46:04Z)
Enabling On-device Continual Learning with Binary Neural Networks [3.180732240499359]
連続学習(CL)とバイナリニューラルネットワーク(BNN)の分野における最近の進歩を組み合わせたソリューションを提案する。具体的には,2値の潜在リプレイアクティベーションと,勾配計算に必要なビット数を大幅に削減する新しい量子化方式を利用する。
論文参考訳（メタデータ） (2024-01-18T11:57:05Z)
Entropy-based Guidance of Deep Neural Networks for Accelerated Convergence and Improved Performance [0.8749675983608172]
完全に接続された畳み込みニューラルネットワークの処理データとしてエントロピーの変化を測定するために、新しい数学的結果を得る。ネットワーク処理データとしてのエントロピーの変化を効果的に測定することにより、良好なネットワークに不可欠なパターンを視覚化し、同定することができる。ベンチマークデータセットにおける画像圧縮、画像分類、イメージセグメンテーションの実験は、これらの損失がニューラルネットワークを誘導し、少ない次元でリッチな潜在データ表現を学習することを示した。
論文参考訳（メタデータ） (2023-08-28T23:33:07Z)
Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文参考訳（メタデータ） (2021-09-25T10:59:39Z)
Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。 d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
論文参考訳（メタデータ） (2021-08-20T11:53:05Z)
High-Capacity Expert Binary Networks [56.87581500474093]
ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
論文参考訳（メタデータ） (2020-10-07T17:58:10Z)
Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文参考訳（メタデータ） (2020-03-31T16:47:20Z)
BiDet: An Efficient Binarized Object Detector [96.19708396510894]
本稿では,効率的な物体検出のためのバイナライズニューラルネットワークのBiDetを提案する。我々のBiDetは、冗長除去による物体検出にバイナリニューラルネットワークの表現能力を完全に活用している。我々の手法は、最先端のバイナリニューラルネットワークを大きなマージンで上回る。
論文参考訳（メタデータ） (2020-03-09T08:16:16Z)
Exploring the Connection Between Binary and Spiking Neural Networks [1.329054857829016]
両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
論文参考訳（メタデータ） (2020-02-24T03:46:51Z)
On transfer learning of neural networks using bi-fidelity data for uncertainty propagation [0.0]
本研究では,高忠実度モデルと低忠実度モデルの両方から生成された学習データを用いた伝達学習手法の適用について検討する。前者のアプローチでは、低忠実度データに基づいて、入力を関心の出力にマッピングするニューラルネットワークモデルを訓練する。次に、高忠実度データを使用して、低忠実度ネットワークの上層(s)のパラメータを適応させたり、より単純なニューラルネットワークをトレーニングして、低忠実度ネットワークの出力を高忠実度モデルのパラメータにマッピングする。
論文参考訳（メタデータ） (2020-02-11T15:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。