論文の概要: Factorizers for Distributed Sparse Block Codes
- arxiv url: http://arxiv.org/abs/2303.13957v1
- Date: Fri, 24 Mar 2023 12:31:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 14:39:54.884417
- Title: Factorizers for Distributed Sparse Block Codes
- Title(参考訳): 分散スパースブロック符号のための因子
- Authors: Michael Hersche, Aleksandar Terzic, Geethan Karunaratne, Jovin
Langenegger, Ang\'eline Pouget, Giovanni Cherubini, Luca Benini, Abu
Sebastian, Abbas Rahimi
- Abstract要約: 分散ブロック符号(SBC)は、固定ベクトルを用いてシンボルデータ構造を符号化し、操作するためのコンパクトな表現を示す。
主要な課題の1つは、可能なすべての組み合わせを探索することなく、そのようなデータ構造を構成要素に切り離し、あるいは分解することである。
GSBCと呼ばれるより柔軟で一般化されたSBCを分解する高速かつ高精度な手法を提案する。
- 参考スコア(独自算出の注目度): 62.38616784953048
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distributed sparse block codes (SBCs) exhibit compact representations for
encoding and manipulating symbolic data structures using fixed-with vectors.
One major challenge however is to disentangle, or factorize, such data
structures into their constituent elements without having to search through all
possible combinations. This factorization becomes more challenging when queried
by noisy SBCs wherein symbol representations are relaxed due to perceptual
uncertainty and approximations made when modern neural networks are used to
generate the query vectors. To address these challenges, we first propose a
fast and highly accurate method for factorizing a more flexible and hence
generalized form of SBCs, dubbed GSBCs. Our iterative factorizer introduces a
threshold-based nonlinear activation, a conditional random sampling, and an
$\ell_\infty$-based similarity metric. Its random sampling mechanism in
combination with the search in superposition allows to analytically determine
the expected number of decoding iterations, which matches the empirical
observations up to the GSBC's bundling capacity. Secondly, the proposed
factorizer maintains its high accuracy when queried by noisy product vectors
generated using deep convolutional neural networks (CNNs). This facilitates its
application in replacing the large fully connected layer (FCL) in CNNs, whereby
C trainable class vectors, or attribute combinations, can be implicitly
represented by our factorizer having F-factor codebooks, each with
$\sqrt[\leftroot{-2}\uproot{2}F]{C}$ fixed codevectors. We provide a
methodology to flexibly integrate our factorizer in the classification layer of
CNNs with a novel loss function. We demonstrate the feasibility of our method
on four deep CNN architectures over CIFAR-100, ImageNet-1K, and RAVEN datasets.
In all use cases, the number of parameters and operations are significantly
reduced compared to the FCL.
- Abstract(参考訳): 分散スパースブロック符号(SBC)は固定ベクトルを用いてシンボルデータ構造を符号化し操作するためのコンパクトな表現を示す。
しかし、大きな課題の1つは、可能なすべての組み合わせを探索することなく、そのようなデータ構造を構成要素に切り離し、あるいは分解することである。
この因子化は、現代のニューラルネットワークを用いてクエリベクトルを生成するときの知覚的不確実性や近似によってシンボル表現が緩和されるノイズの多いSBCによってクエリされるとより困難になる。
これらの課題に対処するために,我々はまず,GSBCと呼ばれるより柔軟で一般化されたSBCを分解する高速かつ高精度な手法を提案する。
反復分解器はしきい値に基づく非線形活性化,条件付きランダムサンプリング,$\ell_\infty$-based similarityメトリックを導入する。
そのランダムサンプリング機構と重ね合わせの探索の組み合わせは、gsbcのバンドル能力まで経験的な観察と一致するデコードイテレーションの期待数を解析的に決定することができる。
第二に,深層畳み込みニューラルネットワーク (cnns) を用いて生成したノイズ製品ベクトルを問合せした場合,提案手法は高い精度を維持する。
これは、cnnの大規模完全連結層(fcl)を置き換えることで、cの訓練可能なクラスベクターまたは属性の組み合わせは、それぞれ$\sqrt[\leftroot{-2}\uproot{2}f]{c}$固定コードベクタを持つf-factor codebookを持つファクタライザによって暗黙的に表現できる。
我々は,新しい損失関数を持つcnnの分類層に,因子化器を柔軟に統合する手法を提案する。
CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
すべてのユースケースにおいて、パラメータと操作の数はFCLに比べて大幅に削減される。
関連論文リスト
- FSCNN: A Fast Sparse Convolution Neural Network Inference System [31.474696818171953]
畳み込みニューラルネットワーク(CNN)は目覚ましい成功を収めているが、通常は高い計算コストと多くの冗長な重みパラメータが伴う。
FLOPを小さくするためには、粗粒の粗さを導入して隠蔽構造全体を除去する構造刈りが一般的である。
圧縮されたCNNの微細な粒度を利用した効率的な畳み込みニューラルネットワーク推論システムを提案する。
論文 参考訳(メタデータ) (2022-12-17T06:44:58Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳(メタデータ) (2022-06-17T04:07:45Z) - Confusion-based rank similarity filters for computationally-efficient
machine learning on high dimensional data [0.0]
我々は、ランク類似度フィルタ(RSF)と呼ばれる、計算効率の良い新しいタイプの人工知能ニューラルネットワーク(ANN)を導入する。
RSFは、多くのデータポイントと次元を持つ非線形分離可能なデータセットを変換し、分類するために使用することができる。
RST、RCC、RSPCのオープンソースコードは、人気のあるScikit-learnフレームワークを使用してPythonで書かれており、簡単にアクセスできる。
論文 参考訳(メタデータ) (2021-09-28T10:53:38Z) - Circular-Symmetric Correlation Layer based on FFT [11.634729459989996]
連続群 $S1 times mathbbR$ 上のロト変換同変相関の形式性に基づく円対称相関層 (CCL) を提案する。
各種の認識・分類タスク・データセットに対して,CCLを組み込んだ汎用ネットワークの性能解析を行った。
論文 参考訳(メタデータ) (2021-07-26T21:06:20Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2021-06-18T03:11:15Z) - Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data
via Differentiable Cross-Approximation [53.95297550117153]
本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。
提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
論文 参考訳(メタデータ) (2021-05-29T08:39:57Z) - SCA-Net: A Self-Correcting Two-Layer Autoencoder for Hyper-spectral
Unmixing [3.918940900258555]
本研究では,2層オートエンコーダ(SCA-Net)が,従来報告されていた値から10~5ドル程度のスケールの誤差測定値を実現することを示す。
また、両直交表現に基づくSCA-Netは、エンドメンバー数が過剰に指定された場合に自己補正を行うことを示す。
論文 参考訳(メタデータ) (2021-02-10T19:37:52Z) - Self-grouping Convolutional Neural Networks [30.732298624941738]
本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。
各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。
得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
論文 参考訳(メタデータ) (2020-09-29T06:24:32Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳(メタデータ) (2020-09-04T20:41:47Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳(メタデータ) (2020-02-18T17:42:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。