論文の概要: Resonator networks for factoring distributed representations of data
structures
- arxiv url: http://arxiv.org/abs/2007.03748v1
- Date: Tue, 7 Jul 2020 19:24:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 18:40:18.662091
- Title: Resonator networks for factoring distributed representations of data
structures
- Title（参考訳）: データ構造の分散表現を分解する共振器ネットワーク
- Authors: E. Paxon Frady, Spencer Kent, Bruno A. Olshausen, Friedrich T. Sommer
- Abstract要約: 分散表現空間上の代数を構成する高次元ベクトルと演算を組み合わせることにより、データ構造がどのように符号化されるかを示す。
提案アルゴリズムは共振器ネットワークと呼ばれ、VSA乗算演算とパターン補完をインターリーブする新しいタイプのリカレントニューラルネットワークである。
共振器ネットワークは、現実世界のドメインにおける無数の人工知能問題にVSAを適用する可能性を開く。
- 参考スコア（独自算出の注目度）: 3.46969645559477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to encode and manipulate data structures with distributed neural
representations could qualitatively enhance the capabilities of traditional
neural networks by supporting rule-based symbolic reasoning, a central property
of cognition. Here we show how this may be accomplished within the framework of
Vector Symbolic Architectures (VSA) (Plate, 1991; Gayler, 1998; Kanerva, 1996),
whereby data structures are encoded by combining high-dimensional vectors with
operations that together form an algebra on the space of distributed
representations. In particular, we propose an efficient solution to a hard
combinatorial search problem that arises when decoding elements of a VSA data
structure: the factorization of products of multiple code vectors. Our proposed
algorithm, called a resonator network, is a new type of recurrent neural
network that interleaves VSA multiplication operations and pattern completion.
We show in two examples -- parsing of a tree-like data structure and parsing of
a visual scene -- how the factorization problem arises and how the resonator
network can solve it. More broadly, resonator networks open the possibility to
apply VSAs to myriad artificial intelligence problems in real-world domains. A
companion paper (Kent et al., 2020) presents a rigorous analysis and evaluation
of the performance of resonator networks, showing it out-performs alternative
approaches.
- Abstract（参考訳）: 分散ニューラルネットワークでデータ構造をエンコードし、操作する能力は、認識の中心的特性であるルールベースの象徴的推論をサポートすることによって、従来のニューラルネットワークの能力を定性的に向上させることができる。
ここでは、これをベクトル記号型アーキテクチャ(vsa)の枠組み(plate, 1991, gayler, 1998, kanerva, 1996)で実現し、高次元ベクトルと分散表現の空間上の代数を形成する演算を組み合わせることでデータ構造を符号化する方法を示す。
特に、VSAデータ構造の要素を復号化する際に発生するハード組合せ探索問題に対する効率的な解を提案する。
提案するアルゴリズムは共振器ネットワークと呼ばれ、vsa乗算演算とパターン補完をインターリーブする新しいタイプのリカレントニューラルネットワークである。
木のようなデータ構造の解析と視覚シーンのパースという2つの例で、分解問題がどのように発生し、共振器ネットワークがそれをどのように解決できるかを示す。
より広範に、共振器ネットワークは、現実世界のドメインにおける無数の人工知能問題にVSAを適用する可能性を開く。
共用紙(Kent et al., 2020)では、共振器ネットワークの性能の厳密な分析と評価を行い、代替手法よりも優れた性能を示す。
関連論文リスト
- Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。
我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
論文 参考訳（メタデータ） (2024-07-19T20:50:57Z) - Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳（メタデータ） (2024-05-12T22:18:25Z) - Neural Clustering based Visual Representation Learning [61.72646814537163]
クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。
本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。
FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
論文 参考訳（メタデータ） (2024-03-26T06:04:50Z) - Self-Attention Based Semantic Decomposition in Vector Symbolic Architectures [6.473177443214531]
本稿では,反復探索問題における自己アテンションに基づく更新規則に基づく共振器ネットワークの新たな変種を提案する。
認識に基づくパターン認識,シーン分解,オブジェクト推論など,多くのタスクに応用できる。
論文 参考訳（メタデータ） (2024-03-20T00:37:19Z) - A Recursively Recurrent Neural Network (R2N2) Architecture for Learning
Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。
本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文 参考訳（メタデータ） (2022-11-22T16:30:33Z) - Neuromorphic Visual Scene Understanding with Resonator Networks [11.701553530610973]
3つの重要な概念を生かしたニューロモルフィックな解を提案する。
このフレームワークは、複雑な値のベクトルを持つベクトルアーキテクチャに基づいている。
ネットワークは、視覚シーンにおける非可換変換と回転を分解する。
機械ビジョンとロボット工学の現実的な応用シナリオにおいて、同種のアプローチを実証する。
論文 参考訳（メタデータ） (2022-08-26T22:17:52Z) - Residual and Attentional Architectures for Vector-Symbols [0.0]
ベクトルシンボリックアーキテクチャ(VSAs)は、非常に柔軟でユニークな利点を持つ計算方法を提供する。
本研究では,FHRR (Fourier Holographic Reduced Representation) VSAのフレームワーク内で提供される操作の効率性と深層ネットワークのパワーを組み合わせて,新たなVSAベースの残差と注意に基づくニューラルネットワークアーキテクチャを構築する。
このことは、VSAの新たな応用と、ニューロモルフィックハードウェアに最先端のニューラルモデルを実装するための潜在的なパスを示す。
論文 参考訳（メタデータ） (2022-07-18T21:38:43Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳（メタデータ） (2022-03-29T21:00:39Z) - Modeling Structure with Undirected Neural Networks [20.506232306308977]
任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。
さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
論文 参考訳（メタデータ） (2022-02-08T10:06:51Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Investigating the Compositional Structure Of Deep Neural Networks [1.8899300124593645]
本稿では,一方向線形活性化関数の構成構造に基づく新しい理論的枠組みを提案する。
予測ラベルと予測に使用する特定の(線形)変換の両方に関して、入力データのインスタンスを特徴付けることができる。
MNISTデータセットの予備テストでは、ニューラルネットワークの内部表現における類似性に関して、入力インスタンスをグループ化することが可能である。
論文 参考訳（メタデータ） (2020-02-17T14:16:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。