論文の概要: Neuromorphic Visual Scene Understanding with Resonator Networks

• arxiv url: http://arxiv.org/abs/2208.12880v1
• Date: Fri, 26 Aug 2022 22:17:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-30 12:52:00.209786
• Title: Neuromorphic Visual Scene Understanding with Resonator Networks
• Title（参考訳）: 共振器ネットワークを用いたニューロモルフィック視覚シーン理解
• Authors: Alpha Renner, Lazar Supic, Andreea Danielescu, Giacomo Indiveri, Bruno A. Olshausen, Yulia Sandamirskaya, Friedrich T. Sommer and E. Paxon Frady
• Abstract要約: 本稿では,3つの重要な概念に基づく効率的な因数分解ネットワークを用いたニューロモルフィック・ソリューションを提案する。 VSAフレームワークはベクトルバインディング演算を使用して、幾何学変換の同変演算としてバインドが作用する生成画像モデルを生成する。 HRNは、ベクトル結合が1つのパーティション内の水平および垂直の変換と、他のパーティション内の回転とスケーリングに等しくなる分割アーキテクチャの定義を可能にする。
• 参考スコア（独自算出の注目度）: 13.33642015612299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inferring the position of objects and their rigid transformations is still an open problem in visual scene understanding. Here we propose a neuromorphic solution that utilizes an efficient factorization network which is based on three key concepts: (1) a computational framework based on Vector Symbolic Architectures (VSA) with complex-valued vectors; (2) the design of Hierarchical Resonator Networks (HRN) to deal with the non-commutative nature of translation and rotation in visual scenes, when both are used in combination; (3) the design of a multi-compartment spiking phasor neuron model for implementing complex-valued vector binding on neuromorphic hardware. The VSA framework uses vector binding operations to produce generative image models in which binding acts as the equivariant operation for geometric transformations. A scene can therefore be described as a sum of vector products, which in turn can be efficiently factorized by a resonator network to infer objects and their poses. The HRN enables the definition of a partitioned architecture in which vector binding is equivariant for horizontal and vertical translation within one partition, and for rotation and scaling within the other partition. The spiking neuron model allows to map the resonator network onto efficient and low-power neuromorphic hardware. In this work, we demonstrate our approach using synthetic scenes composed of simple 2D shapes undergoing rigid geometric transformations and color changes. A companion paper demonstrates this approach in real-world application scenarios for machine vision and robotics.
• Abstract（参考訳）: オブジェクトの位置とその強固な変換を推測することは、視覚シーンの理解において依然としてオープンな問題である。 Here we propose a neuromorphic solution that utilizes an efficient factorization network which is based on three key concepts: (1) a computational framework based on Vector Symbolic Architectures (VSA) with complex-valued vectors; (2) the design of Hierarchical Resonator Networks (HRN) to deal with the non-commutative nature of translation and rotation in visual scenes, when both are used in combination; (3) the design of a multi-compartment spiking phasor neuron model for implementing complex-valued vector binding on neuromorphic hardware. VSAフレームワークはベクトルバインディング操作を使用して、幾何学変換の同変演算としてバインドが作用する生成画像モデルを生成する。 したがって、シーンはベクトル積の和として記述でき、それによって共振器ネットワークによって効率的に分解されて物体とそのポーズを推測することができる。 HRNは、ベクトル結合が1つのパーティション内の水平および垂直の変換と、他のパーティション内の回転とスケーリングに等しくなる分割アーキテクチャの定義を可能にする。 スパイキングニューロンモデルは、共振器ネットワークを効率的で低電力のニューロモルフィックハードウェアにマッピングすることができる。 本研究では,立体幾何学的変換と色変化を行う単純な2次元形状からなる合成シーンを用いたアプローチを実証する。 機械ビジョンとロボット工学の現実的な応用シナリオにおいて、このアプローチを実証する。

関連論文リスト

• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• On the Transition from Neural Representation to Symbolic Knowledge [2.2528422603742304]
  本稿では,EMアルゴリズムを用いてデータのトランザクショナル表現を学習するニューラルネットワークトランザクショナル辞書学習(TDL)フレームワークを提案する。 我々は,協調ゲームとしての入力の分解に関して,拡散モデルを用いてフレームワークを実装した。 さらに、マルコフモデルによって実現されたRLを用いて、学習したプロトタイプをさらに調整する。
  論文  参考訳（メタデータ） (2023-08-03T19:29:35Z)
• Visual Odometry with Neuromorphic Resonator Networks [9.903137966539898]
  視覚オドメトリー(英語: Visual Odometry, VO)は、視覚センサを用いた移動ロボットの自走を推定する手法である。 ニューロモルフィックハードウェアは多くのビジョンとAI問題に対する低消費電力のソリューションを提供する。 本稿では,2次元VOタスクにおける最先端性能を実現するモジュール型ニューロモルフィックアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-05T14:57:03Z)
• VNT-Net: Rotational Invariant Vector Neuron Transformers [3.04585143845864]
  本稿では,最近導入されたベクトルニューロンと自己注意層を組み合わせた回転不変ニューラルネットワークを提案する。 実験により、我々のネットワークは任意のポーズで3Dポイントのクラウドオブジェクトを効率的に処理することを示した。
  論文  参考訳（メタデータ） (2022-05-19T16:51:56Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Vector Neurons: A General Framework for SO(3)-Equivariant Networks [32.81671803104126]
  本稿では,ベクトルニューロン表現(Vector Neuron representations)をベースとした汎用フレームワークを提案する。 我々のベクトルニューロンは、SO(3) の作用を潜在空間へ簡単にマッピングできる。 また、回転等変性再構成ネットワークを初めて示しました。
  論文  参考訳（メタデータ） (2021-04-25T18:48:15Z)
• Neural Parts: Learning Expressive 3D Shape Abstractions with Invertible Neural Networks [118.20778308823779]
  Invertible Neural Network (INN) を用いてプリミティブを定義する新しい3次元プリミティブ表現を提案する。 私たちのモデルは、部品レベルの監督なしに3Dオブジェクトを意味的に一貫した部品配置に解析することを学びます。
  論文  参考訳（メタデータ） (2021-03-18T17:59:31Z)
• Resonator networks for factoring distributed representations of data structures [3.46969645559477]
  分散表現空間上の代数を構成する高次元ベクトルと演算を組み合わせることにより、データ構造がどのように符号化されるかを示す。 提案アルゴリズムは共振器ネットワークと呼ばれ、VSA乗算演算とパターン補完をインターリーブする新しいタイプのリカレントニューラルネットワークである。 共振器ネットワークは、現実世界のドメインにおける無数の人工知能問題にVSAを適用する可能性を開く。
  論文  参考訳（メタデータ） (2020-07-07T19:24:27Z)
• Convolutional Occupancy Networks [88.48287716452002]
  本稿では,オブジェクトと3Dシーンの詳細な再構築のための,より柔軟な暗黙的表現である畳み込み機能ネットワークを提案する。 畳み込みエンコーダと暗黙の占有デコーダを組み合わせることで、帰納的バイアスが組み込まれ、3次元空間における構造的推論が可能となる。 実験により,本手法は単一物体の微細な3次元再構成,大規模屋内シーンへのスケール,合成データから実データへの一般化を可能にした。
  論文  参考訳（メタデータ） (2020-03-10T10:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。