論文の概要: Neuromorphic Visual Scene Understanding with Resonator Networks
- arxiv url: http://arxiv.org/abs/2208.12880v3
- Date: Thu, 7 Sep 2023 20:03:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 18:46:06.849308
- Title: Neuromorphic Visual Scene Understanding with Resonator Networks
- Title(参考訳): 共振器ネットワークを用いたニューロモルフィック視覚シーン理解
- Authors: Alpha Renner, Lazar Supic, Andreea Danielescu, Giacomo Indiveri, Bruno
A. Olshausen, Yulia Sandamirskaya, Friedrich T. Sommer and E. Paxon Frady
- Abstract要約: 本稿では,3つの重要な概念に基づく効率的な因数分解ネットワークを用いたニューロモルフィック・ソリューションを提案する。
VSAフレームワークはベクトルバインディング演算を使用して、幾何学変換の同変演算としてバインドが作用する生成画像モデルを生成する。
HRNは、ベクトル結合が1つのパーティション内の水平および垂直の変換と、他のパーティション内の回転とスケーリングに等しくなる分割アーキテクチャの定義を可能にする。
- 参考スコア(独自算出の注目度): 12.14160078064153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding a visual scene by inferring identities and poses of its
individual objects is still and open problem. Here we propose a neuromorphic
solution that utilizes an efficient factorization network based on three key
concepts: (1) a computational framework based on Vector Symbolic Architectures
(VSA) with complex-valued vectors; (2) the design of Hierarchical Resonator
Networks (HRN) to deal with the non-commutative nature of translation and
rotation in visual scenes, when both are used in combination; (3) the design of
a multi-compartment spiking phasor neuron model for implementing complex-valued
resonator networks on neuromorphic hardware. The VSA framework uses vector
binding operations to produce generative image models in which binding acts as
the equivariant operation for geometric transformations. A scene can therefore
be described as a sum of vector products, which in turn can be efficiently
factorized by a resonator network to infer objects and their poses. The HRN
enables the definition of a partitioned architecture in which vector binding is
equivariant for horizontal and vertical translation within one partition and
for rotation and scaling within the other partition. The spiking neuron model
allows mapping the resonator network onto efficient and low-power neuromorphic
hardware. Our approach is demonstrated on synthetic scenes composed of simple
2D shapes undergoing rigid geometric transformations and color changes. A
companion paper demonstrates the same approach in real-world application
scenarios for machine vision and robotics.
- Abstract(参考訳): 個々のオブジェクトのアイデンティティやポーズを推測することで視覚的なシーンを理解することは、いまだに未解決の問題である。
Here we propose a neuromorphic solution that utilizes an efficient factorization network based on three key concepts: (1) a computational framework based on Vector Symbolic Architectures (VSA) with complex-valued vectors; (2) the design of Hierarchical Resonator Networks (HRN) to deal with the non-commutative nature of translation and rotation in visual scenes, when both are used in combination; (3) the design of a multi-compartment spiking phasor neuron model for implementing complex-valued resonator networks on neuromorphic hardware.
VSAフレームワークはベクトルバインディング操作を使用して、幾何学変換の同変演算としてバインドが作用する生成画像モデルを生成する。
したがって、シーンはベクトル積の和として記述でき、それによって共振器ネットワークによって効率的に分解されて物体とそのポーズを推測することができる。
HRNは、ベクトル結合が1つのパーティション内の水平および垂直の変換と、他のパーティション内の回転とスケーリングに等しくなる分割アーキテクチャの定義を可能にする。
スパイキングニューロンモデルは、共振器ネットワークを効率的で低電力のニューロモルフィックハードウェアにマッピングすることができる。
本手法は, 立体形状変換と色変化を行う単純な2次元形状からなる合成シーンで実証される。
機械ビジョンとロボット工学の現実的な応用シナリオにおいて、同様のアプローチを示す。
関連論文リスト
- Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object
Structure via HyperNetworks [53.67497327319569]
画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。
提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。
本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
論文 参考訳(メタデータ) (2023-12-24T08:42:37Z) - On the Transition from Neural Representation to Symbolic Knowledge [2.2528422603742304]
本稿では,EMアルゴリズムを用いてデータのトランザクショナル表現を学習するニューラルネットワークトランザクショナル辞書学習(TDL)フレームワークを提案する。
我々は,協調ゲームとしての入力の分解に関して,拡散モデルを用いてフレームワークを実装した。
さらに、マルコフモデルによって実現されたRLを用いて、学習したプロトタイプをさらに調整する。
論文 参考訳(メタデータ) (2023-08-03T19:29:35Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Moving Frame Net: SE(3)-Equivariant Network for Volumes [0.0]
移動フレームアプローチに基づく画像データのための回転・変換同変ニューラルネットワークを提案する。
入力段階において、移動フレームの計算を1つに減らし、そのアプローチを大幅に改善する。
我々の訓練されたモデルは、MedMNIST3Dの試験されたデータセットの大部分の医療ボリューム分類において、ベンチマークを上回ります。
論文 参考訳(メタデータ) (2022-11-07T10:25:38Z) - Neural Groundplans: Persistent Neural Scene Representations from a
Single Image [90.04272671464238]
本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。
本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
論文 参考訳(メタデータ) (2022-07-22T17:41:24Z) - VNT-Net: Rotational Invariant Vector Neuron Transformers [3.04585143845864]
本稿では,最近導入されたベクトルニューロンと自己注意層を組み合わせた回転不変ニューラルネットワークを提案する。
実験により、我々のネットワークは任意のポーズで3Dポイントのクラウドオブジェクトを効率的に処理することを示した。
論文 参考訳(メタデータ) (2022-05-19T16:51:56Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳(メタデータ) (2021-12-31T04:37:11Z) - Discrete-Valued Neural Communication [85.3675647398994]
コンポーネント間で伝達される情報を離散表現に制限することは、有益なボトルネックであることを示す。
個人は「猫」が特定の経験に基づいて何であるかについて異なる理解を持っているが、共有された離散トークンは、個人間のコミュニケーションが内部表現の個人差によって切り離されることを可能にする。
我々は、量子化機構をベクトル量子化変分オートコーダから共有符号ブックによる多頭部離散化に拡張し、離散値ニューラル通信に利用する。
論文 参考訳(メタデータ) (2021-07-06T03:09:25Z) - Vector Neurons: A General Framework for SO(3)-Equivariant Networks [32.81671803104126]
本稿では,ベクトルニューロン表現(Vector Neuron representations)をベースとした汎用フレームワークを提案する。
我々のベクトルニューロンは、SO(3) の作用を潜在空間へ簡単にマッピングできる。
また、回転等変性再構成ネットワークを初めて示しました。
論文 参考訳(メタデータ) (2021-04-25T18:48:15Z) - Neural Parts: Learning Expressive 3D Shape Abstractions with Invertible
Neural Networks [118.20778308823779]
Invertible Neural Network (INN) を用いてプリミティブを定義する新しい3次元プリミティブ表現を提案する。
私たちのモデルは、部品レベルの監督なしに3Dオブジェクトを意味的に一貫した部品配置に解析することを学びます。
論文 参考訳(メタデータ) (2021-03-18T17:59:31Z) - Resonator networks for factoring distributed representations of data
structures [3.46969645559477]
分散表現空間上の代数を構成する高次元ベクトルと演算を組み合わせることにより、データ構造がどのように符号化されるかを示す。
提案アルゴリズムは共振器ネットワークと呼ばれ、VSA乗算演算とパターン補完をインターリーブする新しいタイプのリカレントニューラルネットワークである。
共振器ネットワークは、現実世界のドメインにおける無数の人工知能問題にVSAを適用する可能性を開く。
論文 参考訳(メタデータ) (2020-07-07T19:24:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。