論文の概要: Factorizers for Distributed Sparse Block Codes

• arxiv url: http://arxiv.org/abs/2303.13957v2
• Date: Tue, 28 May 2024 14:56:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 04:46:21.510772
• Title: Factorizers for Distributed Sparse Block Codes
• Title（参考訳）: 分散スパースブロック符号のための因子化器
• Authors: Michael Hersche, Aleksandar Terzic, Geethan Karunaratne, Jovin Langenegger, Angéline Pouget, Giovanni Cherubini, Luca Benini, Abu Sebastian, Abbas Rahimi,
• Abstract要約: 分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
• 参考スコア（独自算出の注目度）: 45.29870215671697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed sparse block codes (SBCs) exhibit compact representations for encoding and manipulating symbolic data structures using fixed-width vectors. One major challenge however is to disentangle, or factorize, the distributed representation of data structures into their constituent elements without having to search through all possible combinations. This factorization becomes more challenging when SBCs vectors are noisy due to perceptual uncertainty and approximations made by modern neural networks to generate the query SBCs vectors. To address these challenges, we first propose a fast and highly accurate method for factorizing a more flexible and hence generalized form of SBCs, dubbed GSBCs. Our iterative factorizer introduces a threshold-based nonlinear activation, conditional random sampling, and an $\ell_\infty$-based similarity metric. Secondly, the proposed factorizer maintains a high accuracy when queried by noisy product vectors generated using deep convolutional neural networks (CNNs). This facilitates its application in replacing the large fully connected layer (FCL) in CNNs, whereby $C$ trainable class vectors, or attribute combinations, can be implicitly represented by our factorizer having $F$-factor codebooks, each with $\sqrt[\leftroot{-2}\uproot{2}F]{C}$ fixed codevectors. We provide a methodology to flexibly integrate our factorizer in the classification layer of CNNs with a novel loss function. With this integration, the convolutional layers can generate a noisy product vector that our factorizer can still decode, whereby the decoded factors can have different interpretations based on downstream tasks. We demonstrate the feasibility of our method on four deep CNN architectures over CIFAR-100, ImageNet-1K, and RAVEN datasets. In all use cases, the number of parameters and operations are notably reduced compared to the FCL.
• Abstract（参考訳）: 分散スパースブロック符号(SBC)は、固定幅ベクトルを用いてシンボルデータ構造を符号化し、操作するためのコンパクトな表現を示す。 しかし、大きな課題の1つは、データ構造の分散表現を、可能なすべての組み合わせを探索することなく構成要素に切り離し、あるいは分解することである。 現代のニューラルネットワークがクエリSBCsベクトルを生成するために行った知覚的不確実性や近似のため、SBCsベクトルがノイズが多いと、この分解はより困難になる。 これらの課題に対処するために,我々はまず,GSBCと呼ばれるより柔軟で一般化されたSBCを分解する高速かつ高精度な手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および$\ell_\infty$-based similarity metricを導入している。 第二に,Deep Convolutional Neural Network (CNN) を用いて生成したノイズの多い積ベクトルによってクエリされた場合,その精度が向上する。 これにより、CNNの巨大な完全連結層(FCL)を置き換えることができる。$C$のトレーニング可能なクラスベクトルや属性の組み合わせは、F$-factorコードブックを持つ因子によって暗黙的に表現され、それぞれ$\sqrt[\leftroot{-2}\uproot{2}F]{C}$の固定コードベクタで表現できる。 本稿では,CNNの分類層と新たな損失関数を柔軟に統合する手法を提案する。 この統合により、畳み込み層はノイズの多い積ベクトルを生成できるので、ファクターはデコードでき、デコードされた因子は下流のタスクに基づいて異なる解釈をすることができる。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。 あらゆるユースケースにおいて、パラメータと操作の数はFCLと比較して顕著に減少する。

関連論文リスト

• Parseval Convolution Operators and Neural Networks [16.78532039510369]
  まず、Parseval畳み込み演算子をエネルギー保存フィルタバンクのクラスとして同定する。 次に,基本Parsevalモジュールの連鎖によるフィルタバンクの設計・特定のための構築的アプローチを提案する。 生体医用画像の反復的再構成のためのCNNアルゴリズムの設計により,これらのツールの使用例を示す。
  論文  参考訳（メタデータ） (2024-08-19T13:31:16Z)
• BasisN: Reprogramming-Free RRAM-Based In-Memory-Computing by Basis Combination for Deep Neural Networks [9.170451418330696]
  本研究では,任意のクロスバー上のディープニューラルネットワーク(DNN)をリプログラミングせずに高速化するBasisNフレームワークを提案する。 その結果, クロスバーに再プログラミングを適用する場合と比較して, 推論毎のサイクルとエネルギー遅延生成物は1%以下に削減された。
  論文  参考訳（メタデータ） (2024-07-04T08:47:05Z)
• Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
  線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている 重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。 グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
  論文  参考訳（メタデータ） (2023-11-01T16:37:00Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Learning strides in convolutional neural networks [34.20666933112202]
  この研究は、学習可能なステップを持つ最初のダウンサンプリング層であるDiffStrideを紹介している。 音声と画像の分類実験は,ソリューションの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2022-02-03T16:03:36Z)
• Confusion-based rank similarity filters for computationally-efficient machine learning on high dimensional data [0.0]
  我々は、ランク類似度フィルタ(RSF)と呼ばれる、計算効率の良い新しいタイプの人工知能ニューラルネットワーク(ANN)を導入する。 RSFは、多くのデータポイントと次元を持つ非線形分離可能なデータセットを変換し、分類するために使用することができる。 RST、RCC、RSPCのオープンソースコードは、人気のあるScikit-learnフレームワークを使用してPythonで書かれており、簡単にアクセスできる。
  論文  参考訳（メタデータ） (2021-09-28T10:53:38Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation [53.95297550117153]
  本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。 提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
  論文  参考訳（メタデータ） (2021-05-29T08:39:57Z)
• SCA-Net: A Self-Correcting Two-Layer Autoencoder for Hyper-spectral Unmixing [3.918940900258555]
  本研究では,2層オートエンコーダ(SCA-Net)が,従来報告されていた値から10～5ドル程度のスケールの誤差測定値を実現することを示す。 また、両直交表現に基づくSCA-Netは、エンドメンバー数が過剰に指定された場合に自己補正を行うことを示す。
  論文  参考訳（メタデータ） (2021-02-10T19:37:52Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。