論文の概要: Variable Binding for Sparse Distributed Representations: Theory and Applications

• arxiv url: http://arxiv.org/abs/2009.06734v1
• Date: Mon, 14 Sep 2020 20:40:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 11:24:08.690748
• Title: Variable Binding for Sparse Distributed Representations: Theory and Applications
• Title（参考訳）: スパース分散表現のための可変バインディング:理論と応用
• Authors: E. Paxon Frady, Denis Kleyko, Friedrich T. Sommer
• Abstract要約: 記号推論とニューラルネットワークは、しばしば互換性のないアプローチとみなされる。ベクトル記号アーキテクチャ(VSAs)として知られるコネクショナリストモデルは、このギャップを埋める可能性がある。 VSAsは密度の高い擬似ランダムベクターでシンボルを符号化し、そこで情報はニューロン全体にわたって分散される。 VSAsにおける高密度ベクトル間の変数結合は、次元性を高める演算であるスパースベクトル間のテンソル積結合と数学的に等価であることを示す。
• 参考スコア（独自算出の注目度）: 4.150085009901543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symbolic reasoning and neural networks are often considered incompatible approaches. Connectionist models known as Vector Symbolic Architectures (VSAs) can potentially bridge this gap. However, classical VSAs and neural networks are still considered incompatible. VSAs encode symbols by dense pseudo-random vectors, where information is distributed throughout the entire neuron population. Neural networks encode features locally, often forming sparse vectors of neural activation. Following Rachkovskij (2001); Laiho et al. (2015), we explore symbolic reasoning with sparse distributed representations. The core operations in VSAs are dyadic operations between vectors to express variable binding and the representation of sets. Thus, algebraic manipulations enable VSAs to represent and process data structures in a vector space of fixed dimensionality. Using techniques from compressed sensing, we first show that variable binding between dense vectors in VSAs is mathematically equivalent to tensor product binding between sparse vectors, an operation which increases dimensionality. This result implies that dimensionality-preserving binding for general sparse vectors must include a reduction of the tensor matrix into a single sparse vector. Two options for sparsity-preserving variable binding are investigated. One binding method for general sparse vectors extends earlier proposals to reduce the tensor product into a vector, such as circular convolution. The other method is only defined for sparse block-codes, block-wise circular convolution. Our experiments reveal that variable binding for block-codes has ideal properties, whereas binding for general sparse vectors also works, but is lossy, similar to previous proposals. We demonstrate a VSA with sparse block-codes in example applications, cognitive reasoning and classification, and discuss its relevance for neuroscience and neural networks.
• Abstract（参考訳）: シンボリック推論とニューラルネットワークはしばしば相容れないアプローチとみなされる。 Vector Symbolic Architectures (VSAs)として知られる接続モデルはこのギャップを埋める可能性がある。 しかし、従来のVSAとニューラルネットワークは相容れないと考えられている。 VSAsは密度の高い擬似ランダムベクターでシンボルを符号化し、そこで情報はニューロン全体にわたって分散される。 ニューラルネットワークは特徴をローカルにエンコードし、しばしば神経活性化のスパースベクトルを形成する。 rachkovskij (2001), laiho et al. (2015) に続いて,分散表現のスパースを用いた記号推論について検討する。 VSAsのコア操作は、変数バインディングと集合の表現を表現するベクトル間のダイアディック演算である。 したがって、代数的な操作により、VSAsは固定次元のベクトル空間におけるデータ構造を表現および処理することができる。 圧縮センシングの手法を用いて,まず,vsas内の密度ベクトル間の可変結合が,次元を増加させる演算であるスパースベクトル間のテンソル積結合と数学的に等価であることを示す。 この結果は、一般スパースベクトルに対する次元保存結合は、テンソル行列の単一のスパースベクトルへの還元を含む必要があることを意味する。 sparsity-preserving variable bindingの2つのオプションについて検討した。 一般スパースベクトルの1つの結合法は、テンソル積を円畳み込みのようなベクトルに還元する以前の提案を拡張している。 他の方法はスパースブロック符号、ブロックワイド円形畳み込みのためにのみ定義される。 実験の結果,ブロックコードに対する変数バインディングは理想的な特性を持つが,一般スパースベクトルに対するバインディングも機能するが,従来の提案と同様損失があることがわかった。 認知的推論と分類を応用して, 疎ブロックコードを用いたVSAを実証し, 神経科学とニューラルネットワークとの関連性について考察する。

関連論文リスト

• A Walsh Hadamard Derived Linear Vector Symbolic Architecture [83.27945465029167]
  シンボリックベクトルアーキテクチャ(VSAs)は、ニューロシンボリックAIを開発するためのアプローチである。 HLBは計算効率が良く、従来のVSAタスクで有効であるように設計されている。
  論文  参考訳（メタデータ） (2024-10-30T03:42:59Z)
• An Intrinsic Vector Heat Network [64.55434397799728]
  本稿では,3次元に埋め込まれた接ベクトル場を学習するためのニューラルネットワークアーキテクチャを提案する。 本研究では, ベクトル値の特徴データを空間的に伝播させるために, トレーニング可能なベクトル熱拡散モジュールを提案する。 また,四面体メッシュ生成の産業的有用性に対する本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-14T00:40:31Z)
• Binder: Hierarchical Concept Representation through Order Embedding of Binary Vectors [3.9271338080639753]
  順序に基づく表現のための新しいアプローチであるBinderを提案する。 Binderは埋め込みにバイナリベクトルを使用するため、埋め込みベクトルは他の方法よりもはるかに小さなフットプリントでコンパクトである。
  論文  参考訳（メタデータ） (2024-04-16T21:52:55Z)
• Factorizers for Distributed Sparse Block Codes [45.29870215671697]
  分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
  論文  参考訳（メタデータ） (2023-03-24T12:31:48Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Pseudo-Euclidean Attract-Repel Embeddings for Undirected Graphs [73.0261182389643]
  ドット積埋め込みはグラフをとり、2つのベクトル間のドット積がエッジの強さを与えるようなノードのベクトルを構成する。 ノードを擬ユークリッド空間に埋め込むことにより、推移性仮定を除去する。 Pseudo-Euclidean 埋め込みはネットワークを効率よく圧縮でき、近接する隣人の複数の概念をそれぞれ独自の解釈で解釈でき、既存のモデルに'スロットできる。
  論文  参考訳（メタデータ） (2021-06-17T17:23:56Z)
• Vector Neurons: A General Framework for SO(3)-Equivariant Networks [32.81671803104126]
  本稿では,ベクトルニューロン表現(Vector Neuron representations)をベースとした汎用フレームワークを提案する。 我々のベクトルニューロンは、SO(3) の作用を潜在空間へ簡単にマッピングできる。 また、回転等変性再構成ネットワークを初めて示しました。
  論文  参考訳（メタデータ） (2021-04-25T18:48:15Z)
• Positional Artefacts Propagate Through Masked Language Model Embeddings [16.97378491957158]
  BERT と RoBERTa の隠れ状態ベクトル内で持続性外方ニューロンの症例が発見された。 我々はRoBERTaベースモデルをスクラッチから事前訓練し、位置埋め込みを使わずに外れ値が消えることを見出した。
  論文  参考訳（メタデータ） (2020-11-09T12:49:39Z)
• Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
  我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。 空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。 提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-06T12:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。