論文の概要: Binarization Methods for Motor-Imagery Brain-Computer Interface
Classification
- arxiv url: http://arxiv.org/abs/2010.07004v1
- Date: Wed, 14 Oct 2020 12:28:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 14:33:01.506349
- Title: Binarization Methods for Motor-Imagery Brain-Computer Interface
Classification
- Title（参考訳）: 運動画像脳-コンピュータインタフェース分類のためのバイナリ化法
- Authors: Michael Hersche, Luca Benini, Abbas Rahimi
- Abstract要約: 本稿では,実数値重みを2進数に変換する手法を提案する。
2次埋め込みの次元を調整することにより、4級MI(leq$1.27%以下)で、float16重みを持つモデルと比較してほぼ同じ精度を達成する。
提案手法は,CNNの完全連結層をバイポーラランダムプロジェクションを用いたバイナリ拡張メモリに置き換える。
- 参考スコア（独自算出の注目度）: 18.722731794073756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Successful motor-imagery brain-computer interface (MI-BCI) algorithms either
extract a large number of handcrafted features and train a classifier, or
combine feature extraction and classification within deep convolutional neural
networks (CNNs). Both approaches typically result in a set of real-valued
weights, that pose challenges when targeting real-time execution on tightly
resource-constrained devices. We propose methods for each of these approaches
that allow transforming real-valued weights to binary numbers for efficient
inference. Our first method, based on sparse bipolar random projection,
projects a large number of real-valued Riemannian covariance features to a
binary space, where a linear SVM classifier can be learned with binary weights
too. By tuning the dimension of the binary embedding, we achieve almost the
same accuracy in 4-class MI ($\leq$1.27% lower) compared to models with float16
weights, yet delivering a more compact model with simpler operations to
execute. Second, we propose to use memory-augmented neural networks (MANNs) for
MI-BCI such that the augmented memory is binarized. Our method replaces the
fully connected layer of CNNs with a binary augmented memory using bipolar
random projection, or learned projection. Our experimental results on EEGNet,
an already compact CNN for MI-BCI, show that it can be compressed by 1.28x at
iso-accuracy using the random projection. On the other hand, using the learned
projection provides 3.89% higher accuracy but increases the memory size by
28.10x.
- Abstract（参考訳）: 成功した運動画像脳コンピュータインタフェース(MI-BCI)アルゴリズムは、多数の手作り特徴を抽出し、分類器を訓練するか、深層畳み込みニューラルネットワーク(CNN)内で特徴抽出と分類を組み合わせる。
どちらのアプローチも一般的には、リソースに制約のあるデバイス上でリアルタイム実行をターゲットとする場合に問題となる、一連の実価値重みを生じさせる。
そこで本研究では,実数値重みをバイナリ数に変換する手法を提案する。
最初の方法はスパース双極性確率射影に基づいて、線形SVM分類器を二乗重みで学習できるような、実数値リーマン共分散の多数の特徴を二乗空間に投影する。
2次埋め込みの次元を調整することで、float16重みを持つモデルに比べて4クラスMI(\leq$1.27%低い)でほぼ同じ精度を達成できるが、より単純な操作でよりコンパクトなモデルを提供する。
次に、MI-BCIにメモリ拡張ニューラルネットワーク(MANN)を用い、メモリを二項化することを提案する。
提案手法は,CNNの完全連結層をバイポーラランダムプロジェクションまたは学習プロジェクションを用いてバイナリ拡張メモリに置き換える。
既にコンパクトなMI-BCICNNであるEEGNetの実験結果から、ランダムプロジェクションを用いて1.28倍の精度で圧縮できることが示されている。
一方、学習された投影を用いると3.89%高い精度が得られるが、メモリサイズは28.10倍増加する。
関連論文リスト
- Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors [4.95475852994362]
本稿では,バイナリ重み付きニューラルネットワークのサブビット圧縮を実現するために,ビット列を持つタイル型ニューラルネットワーク層に対する新しい量子化方式を提案する。
私たちは完全に接続された層と畳み込み層の両方にアプローチを採用しています。
論文 参考訳（メタデータ） (2024-07-16T15:55:38Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。
我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。
実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
論文 参考訳（メタデータ） (2023-03-25T13:53:02Z) - AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets [27.022212653067367]
本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。
最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。
ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
論文 参考訳（メタデータ） (2022-08-17T05:43:33Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-12-23T09:33:11Z) - Compressing Deep Convolutional Neural Networks by Stacking
Low-dimensional Binary Convolution Filters [15.66437882635872]
深層畳み込みニューラルネットワーク(CNN)は多くの実生活問題に適用されている。
ディープCNNモデルの巨大なメモリコストは、メモリ制限されたデバイスにそれらをデプロイする上で大きな課題となる。
低次元バイナリ畳み込みフィルタを積み重ねて深部CNNモデルを圧縮する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-06T14:49:22Z) - Memory and Computation-Efficient Kernel SVM via Binary Embedding and
Ternary Model Coefficients [18.52747917850984]
カーネル近似はカーネルSVMのトレーニングと予測のスケールアップに広く用いられている。
メモリ制限されたデバイスにデプロイしたい場合、カーネル近似モデルのメモリと計算コストはまだ高すぎる。
本稿では,バイナリ埋め込みとバイナリモデル係数を用いて,新しいメモリと計算効率の高いカーネルSVMモデルを提案する。
論文 参考訳（メタデータ） (2020-10-06T09:41:54Z) - Towards Lossless Binary Convolutional Neural Networks Using Piecewise
Approximation [4.023728681102073]
CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。
しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。
完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
論文 参考訳（メタデータ） (2020-08-08T13:32:33Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。