論文の概要: In-memory factorization of holographic perceptual representations
- arxiv url: http://arxiv.org/abs/2211.05052v1
- Date: Wed, 9 Nov 2022 17:36:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 15:54:18.902868
- Title: In-memory factorization of holographic perceptual representations
- Title（参考訳）: ホログラフィック知覚表現の記憶内因子化
- Authors: Jovin Langenegger, Geethan Karunaratne, Michael Hersche, Luca Benini,
Abu Sebastian, Abbas Rahimi
- Abstract要約: 感覚信号の構成因子の分散は、知覚と認知の中心である。
ホログラムの知覚表現を効率よく分解できる計算エンジンを提案する。
- 参考スコア（独自算出の注目度）: 14.621617156897301
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Disentanglement of constituent factors of a sensory signal is central to
perception and cognition and hence is a critical task for future artificial
intelligence systems. In this paper, we present a compute engine capable of
efficiently factorizing holographic perceptual representations by exploiting
the computation-in-superposition capability of brain-inspired hyperdimensional
computing and the intrinsic stochasticity associated with analog in-memory
computing based on nanoscale memristive devices. Such an iterative in-memory
factorizer is shown to solve at least five orders of magnitude larger problems
that cannot be solved otherwise, while also significantly lowering the
computational time and space complexity. We present a large-scale experimental
demonstration of the factorizer by employing two in-memory compute chips based
on phase-change memristive devices. The dominant matrix-vector multiply
operations are executed at O(1) thus reducing the computational time complexity
to merely the number of iterations. Moreover, we experimentally demonstrate the
ability to factorize visual perceptual representations reliably and
efficiently.
- Abstract（参考訳）: 感覚信号の構成因子の分散は知覚と認知の中心であり、将来の人工知能システムにとって重要な課題である。
本稿では、脳にインスパイアされた超次元コンピューティングの計算-重畳能力と、ナノスケールのメムリシティブデバイスに基づくアナログインメモリコンピューティングに付随する固有確率を利用して、ホログラムの知覚表現を効率的に分解できる計算エンジンを提案する。
このような反復的インメモリファクターは、他の方法では解決できない、少なくとも5桁以上の大きな問題を解くとともに、計算時間と空間の複雑さを著しく低下させる。
本稿では,位相変化型memriデバイスに基づく2つのインメモリ計算チップを用いて,因子化器の大規模実験を行う。
行列ベクトル乗算演算は O(1) で実行されるので、計算時間の複雑さを単に反復数だけに減らすことができる。
さらに,視覚的知覚表現を確実かつ効率的に分解する能力を実験的に実証した。
関連論文リスト
- Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。
スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。
我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
論文 参考訳（メタデータ） (2024-04-08T16:34:35Z) - H3DFact: Heterogeneous 3D Integrated CIM for Factorization with Holographic Perceptual Representations [6.3347476400923615]
H3DFactは、高次元ホログラム表現を効率的に分解できる不均一な3D統合インメモリ計算エンジンである。
H3DFact はホログラフィックベクトルの計算代入能力と,メモリ上の経験に基づく3D計算に関連付けられた本質性を利用する。
論文 参考訳（メタデータ） (2024-04-05T15:32:49Z) - Randomized Dimension Reduction with Statistical Guarantees [0.27195102129095]
この論文は、高速な実行と効率的なデータ利用のためのアルゴリズムをいくつか探求している。
一般化と分散性を向上する様々なデータ拡張を組み込んだ学習アルゴリズムに着目する。
具体的には、第4章では、データ拡張整合正則化のための複雑性分析のサンプルを提示する。
論文 参考訳（メタデータ） (2023-10-03T02:01:39Z) - Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。
本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。
大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
論文 参考訳（メタデータ） (2023-09-01T18:02:04Z) - Towards Model-Size Agnostic, Compute-Free, Memorization-based Inference
of Deep Learning [5.41530201129053]
本稿では,新しい暗記ベース推論(MBI)を提案する。
具体的には、リカレント・アテンション・モデル(RAM)の推論機構に着目します。
低次元のスリープ性を活用することで、我々の推論手順は、スリープ位置、パッチベクトルなどからなるキー値対をテーブルに格納する。
計算は、テーブルを利用してキーと値のペアを読み出し、暗記による計算自由推論を実行することにより、推論中に妨げられる。
論文 参考訳（メタデータ） (2023-07-14T21:01:59Z) - Determinantal Point Process Attention Over Grid Cell Code Supports Out
of Distribution Generalization [5.422292504420425]
我々は,脳内の処理特性を同定し,高い一般化性能に寄与する可能性がある。
本稿では,標準タスク最適化エラーと DPP-A を併用した損失関数が,グリッドセルコードの繰り返しモチーフを活用可能であることを示す。
これは、哺乳類の脳の格子細胞コードがどのように一般化性能に寄与するかの解釈の両方を提供する。
論文 参考訳（メタデータ） (2023-05-28T19:07:55Z) - Linear Self-Attention Approximation via Trainable Feedforward Kernel [77.34726150561087]
高速な計算を追求する中で、効率的なトランスフォーマーは印象的な様々なアプローチを実証している。
我々は,トランスフォーマーアーキテクチャの自己保持機構を近似するために,トレーニング可能なカーネルメソッドのアイデアを拡張することを目指している。
論文 参考訳（メタデータ） (2022-11-08T08:14:11Z) - Bioinspired Cortex-based Fast Codebook Generation [0.09449650062296822]
脳内の知覚皮質ネットワークにインスパイアされた特徴抽出法を提案する。
バイオインスパイアされた大脳皮質と呼ばれるこのアルゴリズムは、より優れた計算効率を持つストリーミング信号の特徴に収束する。
ここでは、クラスタリングおよびベクトル量子化における大脳皮質モデルの優れた性能を示す。
論文 参考訳（メタデータ） (2022-01-28T18:37:43Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-07-07T16:59:14Z) - Post-Training Quantization for Vision Transformer [85.57953732941101]
本稿では,視覚変換器のメモリ記憶量と計算コストを削減するための学習後量子化アルゴリズムを提案する。
約8ビット量子化を用いて、ImageNetデータセット上でDeiT-Bモデルを用いて81.29%のトップ-1の精度を得ることができる。
論文 参考訳（メタデータ） (2021-06-27T06:27:22Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。