論文の概要: The BeMi Stardust: a Structured Ensemble of Binarized Neural Networks
- arxiv url: http://arxiv.org/abs/2212.03659v1
- Date: Wed, 7 Dec 2022 14:23:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 17:08:46.954046
- Title: The BeMi Stardust: a Structured Ensemble of Binarized Neural Networks
- Title(参考訳): BeMi Stardust:二元化ニューラルネットワークの構造的アンサンブル
- Authors: Ambrogio Maria Bernardelli, Stefano Gualandi, Hoong Chuin Lau, Simone
Milanesi
- Abstract要約: バイナリニューラルネットワーク(BNN)は、その軽量アーキテクチャと低消費電力デバイス上での動作能力により、注目を集めている。
本稿では,BNN の構造的アーキテクチャである BeMiobjective アンサンブルを提案する。
MNISTデータセットとFashion-MNISTデータセットを用いて、クラス毎に最大40のトレーニング画像を用いてモデルを検証する。
- 参考スコア(独自算出の注目度): 5.0135643386074795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Binarized Neural Networks (BNNs) are receiving increasing attention due to
their lightweight architecture and ability to run on low-power devices. The
state-of-the-art for training classification BNNs restricted to few-shot
learning is based on a Mixed Integer Programming (MIP) approach. This paper
proposes the BeMi ensemble, a structured architecture of BNNs based on training
a single BNN for each possible pair of classes and applying a majority voting
scheme to predict the final output. The training of a single BNN discriminating
between two classes is achieved by a MIP model that optimizes a lexicographic
multi-objective function according to robustness and simplicity principles.
This approach results in training networks whose output is not affected by
small perturbations on the input and whose number of active weights is as small
as possible, while good accuracy is preserved. We computationally validate our
model using the MNIST and Fashion-MNIST datasets using up to 40 training images
per class. Our structured ensemble outperforms both BNNs trained by stochastic
gradient descent and state-of-the-art MIP-based approaches. While the previous
approaches achieve an average accuracy of 51.1% on the MNIST dataset, the BeMi
ensemble achieves an average accuracy of 61.7% when trained with 10 images per
class and 76.4% when trained with 40 images per class.
- Abstract(参考訳): バイナリニューラルネットワーク(BNN)は、その軽量アーキテクチャと低消費電力デバイス上での動作能力により、注目を集めている。
少数ショット学習に限定されたBNNの訓練技術は、MIP(Mixed Integer Programming)アプローチに基づいている。
本稿では,bnnの構造化アーキテクチャであるbemiアンサンブルを提案する。bnnを1組のクラス毎にトレーニングし,最終結果を予測するために多数決方式を適用する。
2つのクラスを区別する単一のbnnのトレーニングは、ロバスト性と単純さの原則に従ってレキシカル多目的関数を最適化するmipモデルによって達成される。
このアプローチにより、出力が入力に対する小さな摂動に影響されず、アクティブウェイトの数が可能な限り少ないトレーニングネットワークが構築され、精度が保たれる。
mnist と fashion-mnist のデータセットを用いて,クラス毎に最大 40 のトレーニング画像を用いてモデルを検証する。
我々の構造的アンサンブルは、確率勾配降下と最先端のMIPベースのアプローチで訓練されたBNNよりも優れている。
mnistデータセットの平均精度は51.1%であるが、bemiアンサンブルは、1クラスあたり10イメージでトレーニングすると61.7%、クラス当たり40イメージでトレーニングした場合76.4%で、平均精度は61.7%である。
関連論文リスト
- Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳(メタデータ) (2022-06-26T16:00:22Z) - Lightweight Hybrid CNN-ELM Model for Multi-building and Multi-floor
Classification [6.154022105385209]
本稿では,CNN と ELM の軽量な組み合わせを提案する。
その結果,提案モデルはベンチマークよりも58%高速であり,分類精度はわずかに向上した。
論文 参考訳(メタデータ) (2022-04-21T21:48:01Z) - Elastic-Link for Binarized Neural Network [9.83865304744923]
ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。
ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。
ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
論文 参考訳(メタデータ) (2021-12-19T13:49:29Z) - Learning Hierarchical Graph Neural Networks for Image Clustering [81.5841862489509]
本稿では,画像の集合を未知の個数にクラスタリングする方法を学ぶ階層型グラフニューラルネットワーク(GNN)モデルを提案する。
我々の階層的なGNNは、階層の各レベルで予測される連結コンポーネントをマージして、次のレベルで新しいグラフを形成するために、新しいアプローチを用いています。
論文 参考訳(メタデータ) (2021-07-03T01:28:42Z) - Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。
従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。
ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
論文 参考訳(メタデータ) (2021-05-27T09:27:42Z) - Evaluating Deep Neural Network Ensembles by Majority Voting cum
Meta-Learning scheme [3.351714665243138]
新しいデータインスタンスのために,7つの独立したディープニューラルネットワーク(DNN)のアンサンブルを提案する。
残りのサンプルからブートストラップサンプリングによってデータの7分の1を削除して補充する。
この論文のすべてのアルゴリズムは5つのベンチマークデータセットでテストされている。
論文 参考訳(メタデータ) (2021-05-09T03:10:56Z) - "BNN - BN = ?": Training Binary Neural Networks without Batch
Normalization [92.23297927690149]
バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである
BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
論文 参考訳(メタデータ) (2021-04-16T16:46:57Z) - Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。
本手法は画像内情報と画像間情報の両方を利用する。
トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
論文 参考訳(メタデータ) (2021-04-01T08:09:26Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳(メタデータ) (2021-02-17T18:59:28Z) - Mixture-based Feature Space Learning for Few-shot Image Classification [6.574517227976925]
特徴抽出器を同時に訓練し,混合モデルパラメータをオンラインで学習することで,混合モデルを用いたベースクラスをモデル化することを提案する。
非常に少数のサンプルから新しい例を分類するために使用できる、よりリッチでより差別的な特徴空間における結果。
論文 参考訳(メタデータ) (2020-11-24T03:16:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。