論文の概要: The BeMi Stardust: a Structured Ensemble of Binarized Neural Networks

• arxiv url: http://arxiv.org/abs/2212.03659v1
• Date: Wed, 7 Dec 2022 14:23:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 17:08:46.954046
• Title: The BeMi Stardust: a Structured Ensemble of Binarized Neural Networks
• Title（参考訳）: BeMi Stardust:二元化ニューラルネットワークの構造的アンサンブル
• Authors: Ambrogio Maria Bernardelli, Stefano Gualandi, Hoong Chuin Lau, Simone Milanesi
• Abstract要約: バイナリニューラルネットワーク(BNN)は、その軽量アーキテクチャと低消費電力デバイス上での動作能力により、注目を集めている。 本稿では,BNN の構造的アーキテクチャである BeMiobjective アンサンブルを提案する。 MNISTデータセットとFashion-MNISTデータセットを用いて、クラス毎に最大40のトレーニング画像を用いてモデルを検証する。
• 参考スコア（独自算出の注目度）: 5.0135643386074795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binarized Neural Networks (BNNs) are receiving increasing attention due to their lightweight architecture and ability to run on low-power devices. The state-of-the-art for training classification BNNs restricted to few-shot learning is based on a Mixed Integer Programming (MIP) approach. This paper proposes the BeMi ensemble, a structured architecture of BNNs based on training a single BNN for each possible pair of classes and applying a majority voting scheme to predict the final output. The training of a single BNN discriminating between two classes is achieved by a MIP model that optimizes a lexicographic multi-objective function according to robustness and simplicity principles. This approach results in training networks whose output is not affected by small perturbations on the input and whose number of active weights is as small as possible, while good accuracy is preserved. We computationally validate our model using the MNIST and Fashion-MNIST datasets using up to 40 training images per class. Our structured ensemble outperforms both BNNs trained by stochastic gradient descent and state-of-the-art MIP-based approaches. While the previous approaches achieve an average accuracy of 51.1% on the MNIST dataset, the BeMi ensemble achieves an average accuracy of 61.7% when trained with 10 images per class and 76.4% when trained with 40 images per class.
• Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は、その軽量アーキテクチャと低消費電力デバイス上での動作能力により、注目を集めている。 少数ショット学習に限定されたBNNの訓練技術は、MIP(Mixed Integer Programming)アプローチに基づいている。 本稿では,bnnの構造化アーキテクチャであるbemiアンサンブルを提案する。bnnを1組のクラス毎にトレーニングし,最終結果を予測するために多数決方式を適用する。 2つのクラスを区別する単一のbnnのトレーニングは、ロバスト性と単純さの原則に従ってレキシカル多目的関数を最適化するmipモデルによって達成される。 このアプローチにより、出力が入力に対する小さな摂動に影響されず、アクティブウェイトの数が可能な限り少ないトレーニングネットワークが構築され、精度が保たれる。 mnist と fashion-mnist のデータセットを用いて,クラス毎に最大 40 のトレーニング画像を用いてモデルを検証する。 我々の構造的アンサンブルは、確率勾配降下と最先端のMIPベースのアプローチで訓練されたBNNよりも優れている。 mnistデータセットの平均精度は51.1%であるが、bemiアンサンブルは、1クラスあたり10イメージでトレーニングすると61.7%、クラス当たり40イメージでトレーニングした場合76.4%で、平均精度は61.7%である。

関連論文リスト

• UnifiedNN: Efficient Neural Network Training on the Cloud [2.1119495676190128]
  UnifiedNNは複数のNNモデルを"組み合わせ"し、複数のNNモデルを同時にトレーニングするためのメモリと時間保存機構を備えている。 その結果,UnifiedNNは,最先端フレームワークと比較してメモリ消費を最大52%削減し,トレーニング時間を最大41%削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-02T15:29:39Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Selfish Sparse RNN Training [13.165729746380816]
  本稿では,1回のランでパラメータ数を固定したスパースRNNを,性能を損なうことなく訓練する手法を提案する。 我々はPenn TreeBankとWikitext-2の様々なデータセットを用いて最先端のスパーストレーニング結果を得る。
  論文  参考訳（メタデータ） (2021-01-22T10:45:40Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
  Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する 本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。 我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
  論文  参考訳（メタデータ） (2020-05-04T19:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。