論文の概要: Input Layer Binarization with Bit-Plane Encoding
- arxiv url: http://arxiv.org/abs/2305.02885v1
- Date: Thu, 4 May 2023 14:49:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-05 15:15:43.562444
- Title: Input Layer Binarization with Bit-Plane Encoding
- Title（参考訳）: Bit-Plane符号化による入力層バイナリ化
- Authors: Lorenzo Vorabbi and Davide Maltoni and Stefano Santi
- Abstract要約: 本稿では,入力データの8ビット表現を直接利用して,第1層をバイナライズする手法を提案する。
得られたモデルは完全にバイナライズされ、第1層バイナライズアプローチはモデル独立です。
- 参考スコア（独自算出の注目度）: 4.872439392746007
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Binary Neural Networks (BNNs) use 1-bit weights and activations to
efficiently execute deep convolutional neural networks on edge devices.
Nevertheless, the binarization of the first layer is conventionally excluded,
as it leads to a large accuracy loss. The few works addressing the first layer
binarization, typically increase the number of input channels to enhance data
representation; such data expansion raises the amount of operations needed and
it is feasible only on systems with enough computational resources. In this
work, we present a new method to binarize the first layer using directly the
8-bit representation of input data; we exploit the standard bit-planes encoding
to extract features bit-wise (using depth-wise convolutions); after a
re-weighting stage, features are fused again. The resulting model is fully
binarized and our first layer binarization approach is model independent. The
concept is evaluated on three classification datasets (CIFAR10, SVHN and
CIFAR100) for different model architectures (VGG and ResNet) and, the proposed
technique outperforms state of the art methods both in accuracy and BMACs
reduction.
- Abstract（参考訳）: バイナリニューラルネットワーク(bnns)は、1ビットの重みとアクティベーションを使用して、エッジデバイス上でディープ畳み込みニューラルネットワークを効率的に実行する。
それでも、第1層の双対化は従来は除外され、結果として精度が大幅に低下する。
データ表現を強化するために入力チャネルの数を増やすのが一般的であり、そのようなデータ拡張は必要な操作量を増やし、十分な計算資源を持つシステムでのみ実現可能である。
本稿では,入力データの8ビット表現を直接使用して,第1層を2値化する新しい手法を提案する。
得られたモデルは完全にバイナライズされ、第1層バイナライズアプローチはモデル独立です。
この概念は、異なるモデルアーキテクチャ(vggおよびresnet)のための3つの分類データセット(cifar10、svhn、cifar100)で評価され、提案手法は精度とbmacs低減の両方においてアートメソッドの状態を上回る。
関連論文リスト
- Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors [4.95475852994362]
本稿では,バイナリ重み付きニューラルネットワークのサブビット圧縮を実現するために,ビット列を持つタイル型ニューラルネットワーク層に対する新しい量子化方式を提案する。
私たちは完全に接続された層と畳み込み層の両方にアプローチを採用しています。
論文 参考訳（メタデータ） (2024-07-16T15:55:38Z) - BDC-Occ: Binarized Deep Convolution Unit For Binarized Occupancy Network [55.21288428359509]
既存の3D占有ネットワークは重要なハードウェアリソースを必要としており、エッジデバイスの配備を妨げている。
本稿では,バイナライズド・ディープ・コンボリューション(BDC)ユニットを提案し,バイナライズド・ディープ・コンボリューション・レイヤの数を増やしつつ性能を効果的に向上させる。
我々のBDC-Occモデルは既存の3D占有ネットワークをバイナライズするために提案したBDCユニットを適用して作成する。
論文 参考訳（メタデータ） (2024-05-27T10:44:05Z) - Binarized Spectral Compressive Imaging [59.18636040850608]
ハイパースペクトル画像(HSI)再構成のための既存のディープラーニングモデルは、優れた性能を実現するが、膨大なメモリと計算資源を持つ強力なハードウェアを必要とする。
本稿では,BiSRNet(Biarized Spectral-Redistribution Network)を提案する。
BiSRNetは,提案手法を用いてベースモデルのバイナライズを行う。
論文 参考訳（メタデータ） (2023-05-17T15:36:08Z) - AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets [27.022212653067367]
本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。
最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。
ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
論文 参考訳（メタデータ） (2022-08-17T05:43:33Z) - Bimodal Distributed Binarized Neural Networks [3.0778860202909657]
しかし、バイナリ化技術は、完全精度のものと比べれば、不適格な性能劣化に悩まされる。
バイモーダル分散バイナライゼーション法(メソッド名)を提案する。
これにより、ネットワーク重みのバイモーダルな分布がクルトーシス正規化によって引き起こされる。
論文 参考訳（メタデータ） (2022-04-05T06:07:05Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - High-Capacity Expert Binary Networks [56.87581500474093]
ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。
メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。
本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
論文 参考訳（メタデータ） (2020-10-07T17:58:10Z) - Towards Lossless Binary Convolutional Neural Networks Using Piecewise
Approximation [4.023728681102073]
CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。
しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。
完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
論文 参考訳（メタデータ） (2020-08-08T13:32:33Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z) - Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。
我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。
すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文 参考訳（メタデータ） (2020-03-25T17:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。