論文の概要: HyBNN and FedHyBNN: (Federated) Hybrid Binary Neural Networks
- arxiv url: http://arxiv.org/abs/2205.09839v1
- Date: Thu, 19 May 2022 20:27:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-24 11:36:16.767698
- Title: HyBNN and FedHyBNN: (Federated) Hybrid Binary Neural Networks
- Title（参考訳）: hybnnとfeedhybnn:(フェデレートされた)ハイブリッドバイナリニューラルネットワーク
- Authors: Kinshuk Dua
- Abstract要約: 新しいハイブリッドニューラルネットワークアーキテクチャHybrid Binary Neural Network (Hybrid Binary Neural Network, HyBNN)を導入する。
HyBNNは、タスク非依存、一般、完全精度の変動型オートエンコーダと、タスク固有のバイナリニューラルネットワークで構成されている。
提案システムは,入力バイナライゼーションにより,バニラバイナリニューラルネットワークを著しく上回る性能を有することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Binary Neural Networks (BNNs), neural networks with weights and activations
constrained to -1(0) and +1, are an alternative to deep neural networks which
offer faster training, lower memory consumption and lightweight models, ideal
for use in resource constrained devices while being able to utilize the
architecture of their deep neural network counterpart. However, the input
binarization step used in BNNs causes a severe accuracy loss. In this paper, we
introduce a novel hybrid neural network architecture, Hybrid Binary Neural
Network (HyBNN), consisting of a task-independent, general, full-precision
variational autoencoder with a binary latent space and a task specific binary
neural network that is able to greatly limit the accuracy loss due to input
binarization by using the full precision variational autoencoder as a feature
extractor. We use it to combine the state-of-the-art accuracy of deep neural
networks with the much faster training time, quicker test-time inference and
power efficiency of binary neural networks. We show that our proposed system is
able to very significantly outperform a vanilla binary neural network with
input binarization. We also introduce FedHyBNN, a highly communication
efficient federated counterpart to HyBNN and demonstrate that it is able to
reach the same accuracy as its non-federated equivalent. We make our source
code, experimental parameters and models available at:
https://anonymous.4open.science/r/HyBNN.
- Abstract（参考訳）: 重みとアクティベーションが-1(0)と+1に制限されたニューラルネットワークであるBNN(Binary Neural Networks)は、より高速なトレーニング、メモリ消費の低減、軽量なモデルを提供するディープニューラルネットワークの代替であり、ディープニューラルネットワークのアーキテクチャを活用しつつ、リソース制約されたデバイスでの使用に適している。
しかし、BNNで使用される入力バイナライゼーションステップは、深刻な精度の損失を引き起こす。
本稿では,2つの潜在空間を持つタスク非依存,一般の完全精度変分オートエンコーダと,全精度変分オートエンコーダを特徴抽出器として使用することにより,入力バイナライゼーションによる精度損失を大幅に抑制できるタスク固有二分ニューラルネットワークからなる,ハイブリッドニューラルネットワークアーキテクチャであるHybrid Binary Neural Network(HyBNN)を紹介する。
私たちは、ディープニューラルネットワークの最先端の精度と、より高速なトレーニング時間、より高速なテスト時間推論、バイナリニューラルネットワークの電力効率を組み合わせています。
提案するシステムは,入力バイナリ化によってバニラバイナリニューラルネットワークを著しく上回ることができることを示す。
また,HyBNNと通信効率のよいフェデレーションであるFedHyBNNを導入し,その非フェデレーション等価性と同じ精度に到達できることを実証した。
ソースコード、実験パラメータ、モデルを、https://anonymous.4open.science/r/HyBNNで公開しています。
関連論文リスト
- NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。
我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。
さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文 参考訳（メタデータ） (2024-08-28T02:17:58Z) - An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。
本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
論文 参考訳（メタデータ） (2023-07-29T06:27:28Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded
Systems [0.0]
畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。
本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
論文 参考訳（メタデータ） (2021-12-01T18:20:52Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳（メタデータ） (2021-10-18T11:30:29Z) - Mining the Weights Knowledge for Optimizing Neural Network Structures [1.995792341399967]
タスク固有のニューラルネットワーク(略してTNN)の重みを入力として使用するスイッチャーニューラルネットワーク(SNN)を導入する。
重みに含まれる知識をマイニングすることで、SNNはTNNのニューロンをオフにするスケーリング因子を出力する。
精度の面では,ベースラインネットワークやその他の構造学習手法を安定的に,かつ著しく上回っている。
論文 参考訳（メタデータ） (2021-10-11T05:20:56Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - BCNN: Binary Complex Neural Network [16.82755328827758]
バイナリニューラルネットワーク(BNN)は、リソース制限のあるハードウェアを備えたエッジサイドアプリケーションにおいて、大きな可能性を秘めている。
本稿では,BNNに複雑な表現を導入し,バイナリ・コンプレックス・ニューラルネットワークを提案する。
BCNNは、複雑な表現を通じて学習能力を強化し、複雑な値の入力データに適用性を拡張することにより、BNNを改善している。
論文 参考訳（メタデータ） (2021-03-28T03:35:24Z) - Combining Spiking Neural Network and Artificial Neural Network for
Enhanced Image Classification [1.8411688477000185]
生物学的脳シナプスによく似たSNN(spiking neural Network)は、低消費電力のために注目を集めている。
我々は、関係する性能を改善する汎用ハイブリッドニューラルネットワーク(hnn)を構築した。
論文 参考訳（メタデータ） (2021-02-21T12:03:16Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。