論文の概要: Neuromorphic Visual Scene Understanding with Resonator Networks
- arxiv url: http://arxiv.org/abs/2208.12880v1
- Date: Fri, 26 Aug 2022 22:17:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-30 12:52:00.209786
- Title: Neuromorphic Visual Scene Understanding with Resonator Networks
- Title(参考訳): 共振器ネットワークを用いたニューロモルフィック視覚シーン理解
- Authors: Alpha Renner, Lazar Supic, Andreea Danielescu, Giacomo Indiveri, Bruno
A. Olshausen, Yulia Sandamirskaya, Friedrich T. Sommer and E. Paxon Frady
- Abstract要約: 本稿では,3つの重要な概念に基づく効率的な因数分解ネットワークを用いたニューロモルフィック・ソリューションを提案する。
VSAフレームワークはベクトルバインディング演算を使用して、幾何学変換の同変演算としてバインドが作用する生成画像モデルを生成する。
HRNは、ベクトル結合が1つのパーティション内の水平および垂直の変換と、他のパーティション内の回転とスケーリングに等しくなる分割アーキテクチャの定義を可能にする。
- 参考スコア(独自算出の注目度): 13.33642015612299
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inferring the position of objects and their rigid transformations is still an
open problem in visual scene understanding. Here we propose a neuromorphic
solution that utilizes an efficient factorization network which is based on
three key concepts: (1) a computational framework based on Vector Symbolic
Architectures (VSA) with complex-valued vectors; (2) the design of Hierarchical
Resonator Networks (HRN) to deal with the non-commutative nature of translation
and rotation in visual scenes, when both are used in combination; (3) the
design of a multi-compartment spiking phasor neuron model for implementing
complex-valued vector binding on neuromorphic hardware. The VSA framework uses
vector binding operations to produce generative image models in which binding
acts as the equivariant operation for geometric transformations. A scene can
therefore be described as a sum of vector products, which in turn can be
efficiently factorized by a resonator network to infer objects and their poses.
The HRN enables the definition of a partitioned architecture in which vector
binding is equivariant for horizontal and vertical translation within one
partition, and for rotation and scaling within the other partition. The spiking
neuron model allows to map the resonator network onto efficient and low-power
neuromorphic hardware. In this work, we demonstrate our approach using
synthetic scenes composed of simple 2D shapes undergoing rigid geometric
transformations and color changes. A companion paper demonstrates this approach
in real-world application scenarios for machine vision and robotics.
- Abstract(参考訳): オブジェクトの位置とその強固な変換を推測することは、視覚シーンの理解において依然としてオープンな問題である。
Here we propose a neuromorphic solution that utilizes an efficient factorization network which is based on three key concepts: (1) a computational framework based on Vector Symbolic Architectures (VSA) with complex-valued vectors; (2) the design of Hierarchical Resonator Networks (HRN) to deal with the non-commutative nature of translation and rotation in visual scenes, when both are used in combination; (3) the design of a multi-compartment spiking phasor neuron model for implementing complex-valued vector binding on neuromorphic hardware.
VSAフレームワークはベクトルバインディング操作を使用して、幾何学変換の同変演算としてバインドが作用する生成画像モデルを生成する。
したがって、シーンはベクトル積の和として記述でき、それによって共振器ネットワークによって効率的に分解されて物体とそのポーズを推測することができる。
HRNは、ベクトル結合が1つのパーティション内の水平および垂直の変換と、他のパーティション内の回転とスケーリングに等しくなる分割アーキテクチャの定義を可能にする。
スパイキングニューロンモデルは、共振器ネットワークを効率的で低電力のニューロモルフィックハードウェアにマッピングすることができる。
本研究では,立体幾何学的変換と色変化を行う単純な2次元形状からなる合成シーンを用いたアプローチを実証する。
機械ビジョンとロボット工学の現実的な応用シナリオにおいて、このアプローチを実証する。
関連論文リスト
- Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object
Structure via HyperNetworks [53.67497327319569]
画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。
提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。
本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
論文 参考訳(メタデータ) (2023-12-24T08:42:37Z) - On the Transition from Neural Representation to Symbolic Knowledge [2.2528422603742304]
本稿では,EMアルゴリズムを用いてデータのトランザクショナル表現を学習するニューラルネットワークトランザクショナル辞書学習(TDL)フレームワークを提案する。
我々は,協調ゲームとしての入力の分解に関して,拡散モデルを用いてフレームワークを実装した。
さらに、マルコフモデルによって実現されたRLを用いて、学習したプロトタイプをさらに調整する。
論文 参考訳(メタデータ) (2023-08-03T19:29:35Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Moving Frame Net: SE(3)-Equivariant Network for Volumes [0.0]
移動フレームアプローチに基づく画像データのための回転・変換同変ニューラルネットワークを提案する。
入力段階において、移動フレームの計算を1つに減らし、そのアプローチを大幅に改善する。
我々の訓練されたモデルは、MedMNIST3Dの試験されたデータセットの大部分の医療ボリューム分類において、ベンチマークを上回ります。
論文 参考訳(メタデータ) (2022-11-07T10:25:38Z) - Neural Groundplans: Persistent Neural Scene Representations from a
Single Image [90.04272671464238]
本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。
本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
論文 参考訳(メタデータ) (2022-07-22T17:41:24Z) - VNT-Net: Rotational Invariant Vector Neuron Transformers [3.04585143845864]
本稿では,最近導入されたベクトルニューロンと自己注意層を組み合わせた回転不変ニューラルネットワークを提案する。
実験により、我々のネットワークは任意のポーズで3Dポイントのクラウドオブジェクトを効率的に処理することを示した。
論文 参考訳(メタデータ) (2022-05-19T16:51:56Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳(メタデータ) (2021-12-31T04:37:11Z) - Discrete-Valued Neural Communication [85.3675647398994]
コンポーネント間で伝達される情報を離散表現に制限することは、有益なボトルネックであることを示す。
個人は「猫」が特定の経験に基づいて何であるかについて異なる理解を持っているが、共有された離散トークンは、個人間のコミュニケーションが内部表現の個人差によって切り離されることを可能にする。
我々は、量子化機構をベクトル量子化変分オートコーダから共有符号ブックによる多頭部離散化に拡張し、離散値ニューラル通信に利用する。
論文 参考訳(メタデータ) (2021-07-06T03:09:25Z) - Vector Neurons: A General Framework for SO(3)-Equivariant Networks [32.81671803104126]
本稿では,ベクトルニューロン表現(Vector Neuron representations)をベースとした汎用フレームワークを提案する。
我々のベクトルニューロンは、SO(3) の作用を潜在空間へ簡単にマッピングできる。
また、回転等変性再構成ネットワークを初めて示しました。
論文 参考訳(メタデータ) (2021-04-25T18:48:15Z) - Neural Parts: Learning Expressive 3D Shape Abstractions with Invertible
Neural Networks [118.20778308823779]
Invertible Neural Network (INN) を用いてプリミティブを定義する新しい3次元プリミティブ表現を提案する。
私たちのモデルは、部品レベルの監督なしに3Dオブジェクトを意味的に一貫した部品配置に解析することを学びます。
論文 参考訳(メタデータ) (2021-03-18T17:59:31Z) - Resonator networks for factoring distributed representations of data
structures [3.46969645559477]
分散表現空間上の代数を構成する高次元ベクトルと演算を組み合わせることにより、データ構造がどのように符号化されるかを示す。
提案アルゴリズムは共振器ネットワークと呼ばれ、VSA乗算演算とパターン補完をインターリーブする新しいタイプのリカレントニューラルネットワークである。
共振器ネットワークは、現実世界のドメインにおける無数の人工知能問題にVSAを適用する可能性を開く。
論文 参考訳(メタデータ) (2020-07-07T19:24:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。