論文の概要: Variable Binding for Sparse Distributed Representations: Theory and
Applications
- arxiv url: http://arxiv.org/abs/2009.06734v1
- Date: Mon, 14 Sep 2020 20:40:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 11:24:08.690748
- Title: Variable Binding for Sparse Distributed Representations: Theory and
Applications
- Title(参考訳): スパース分散表現のための可変バインディング:理論と応用
- Authors: E. Paxon Frady, Denis Kleyko, Friedrich T. Sommer
- Abstract要約: 記号推論とニューラルネットワークは、しばしば互換性のないアプローチとみなされる。ベクトル記号アーキテクチャ(VSAs)として知られるコネクショナリストモデルは、このギャップを埋める可能性がある。
VSAsは密度の高い擬似ランダムベクターでシンボルを符号化し、そこで情報はニューロン全体にわたって分散される。
VSAsにおける高密度ベクトル間の変数結合は、次元性を高める演算であるスパースベクトル間のテンソル積結合と数学的に等価であることを示す。
- 参考スコア(独自算出の注目度): 4.150085009901543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Symbolic reasoning and neural networks are often considered incompatible
approaches. Connectionist models known as Vector Symbolic Architectures (VSAs)
can potentially bridge this gap. However, classical VSAs and neural networks
are still considered incompatible. VSAs encode symbols by dense pseudo-random
vectors, where information is distributed throughout the entire neuron
population. Neural networks encode features locally, often forming sparse
vectors of neural activation. Following Rachkovskij (2001); Laiho et al.
(2015), we explore symbolic reasoning with sparse distributed representations.
The core operations in VSAs are dyadic operations between vectors to express
variable binding and the representation of sets. Thus, algebraic manipulations
enable VSAs to represent and process data structures in a vector space of fixed
dimensionality. Using techniques from compressed sensing, we first show that
variable binding between dense vectors in VSAs is mathematically equivalent to
tensor product binding between sparse vectors, an operation which increases
dimensionality. This result implies that dimensionality-preserving binding for
general sparse vectors must include a reduction of the tensor matrix into a
single sparse vector. Two options for sparsity-preserving variable binding are
investigated. One binding method for general sparse vectors extends earlier
proposals to reduce the tensor product into a vector, such as circular
convolution. The other method is only defined for sparse block-codes,
block-wise circular convolution. Our experiments reveal that variable binding
for block-codes has ideal properties, whereas binding for general sparse
vectors also works, but is lossy, similar to previous proposals. We demonstrate
a VSA with sparse block-codes in example applications, cognitive reasoning and
classification, and discuss its relevance for neuroscience and neural networks.
- Abstract(参考訳): シンボリック推論とニューラルネットワークはしばしば相容れないアプローチとみなされる。
Vector Symbolic Architectures (VSAs)として知られる接続モデルはこのギャップを埋める可能性がある。
しかし、従来のVSAとニューラルネットワークは相容れないと考えられている。
VSAsは密度の高い擬似ランダムベクターでシンボルを符号化し、そこで情報はニューロン全体にわたって分散される。
ニューラルネットワークは特徴をローカルにエンコードし、しばしば神経活性化のスパースベクトルを形成する。
rachkovskij (2001), laiho et al. (2015) に続いて,分散表現のスパースを用いた記号推論について検討する。
VSAsのコア操作は、変数バインディングと集合の表現を表現するベクトル間のダイアディック演算である。
したがって、代数的な操作により、VSAsは固定次元のベクトル空間におけるデータ構造を表現および処理することができる。
圧縮センシングの手法を用いて,まず,vsas内の密度ベクトル間の可変結合が,次元を増加させる演算であるスパースベクトル間のテンソル積結合と数学的に等価であることを示す。
この結果は、一般スパースベクトルに対する次元保存結合は、テンソル行列の単一のスパースベクトルへの還元を含む必要があることを意味する。
sparsity-preserving variable bindingの2つのオプションについて検討した。
一般スパースベクトルの1つの結合法は、テンソル積を円畳み込みのようなベクトルに還元する以前の提案を拡張している。
他の方法はスパースブロック符号、ブロックワイド円形畳み込みのためにのみ定義される。
実験の結果,ブロックコードに対する変数バインディングは理想的な特性を持つが,一般スパースベクトルに対するバインディングも機能するが,従来の提案と同様損失があることがわかった。
認知的推論と分類を応用して, 疎ブロックコードを用いたVSAを実証し, 神経科学とニューラルネットワークとの関連性について考察する。
関連論文リスト
- Observable Propagation: A Data-Efficient Approach to Uncover Feature
Vectors in Transformers [25.096019252017296]
与えられたタスクを計算する際にトランスフォーマー言語モデルで使用される線形特徴を見つけるために"obsProp"(略してobsProp)を導入する。
我々はObsPropを使って、ジェンダー付き職業バイアス、政党予測、プログラミング言語検出など、様々なタスクの質的な調査を行う。
論文 参考訳(メタデータ) (2023-12-26T19:00:56Z) - Factorizers for Distributed Sparse Block Codes [62.38616784953048]
分散ブロック符号(SBC)は、固定ベクトルを用いてシンボルデータ構造を符号化し、操作するためのコンパクトな表現を示す。
主要な課題の1つは、可能なすべての組み合わせを探索することなく、そのようなデータ構造を構成要素に切り離し、あるいは分解することである。
GSBCと呼ばれるより柔軟で一般化されたSBCを分解する高速かつ高精度な手法を提案する。
論文 参考訳(メタデータ) (2023-03-24T12:31:48Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳(メタデータ) (2022-06-17T04:07:45Z) - Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。
FAモデルが最大表現力を持つことを示す。
我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
論文 参考訳(メタデータ) (2021-10-07T11:05:23Z) - Pseudo-Euclidean Attract-Repel Embeddings for Undirected Graphs [73.0261182389643]
ドット積埋め込みはグラフをとり、2つのベクトル間のドット積がエッジの強さを与えるようなノードのベクトルを構成する。
ノードを擬ユークリッド空間に埋め込むことにより、推移性仮定を除去する。
Pseudo-Euclidean 埋め込みはネットワークを効率よく圧縮でき、近接する隣人の複数の概念をそれぞれ独自の解釈で解釈でき、既存のモデルに'スロットできる。
論文 参考訳(メタデータ) (2021-06-17T17:23:56Z) - Vector Neurons: A General Framework for SO(3)-Equivariant Networks [32.81671803104126]
本稿では,ベクトルニューロン表現(Vector Neuron representations)をベースとした汎用フレームワークを提案する。
我々のベクトルニューロンは、SO(3) の作用を潜在空間へ簡単にマッピングできる。
また、回転等変性再構成ネットワークを初めて示しました。
論文 参考訳(メタデータ) (2021-04-25T18:48:15Z) - A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。
直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。
この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
論文 参考訳(メタデータ) (2021-02-18T19:39:22Z) - Positional Artefacts Propagate Through Masked Language Model Embeddings [16.97378491957158]
BERT と RoBERTa の隠れ状態ベクトル内で持続性外方ニューロンの症例が発見された。
我々はRoBERTaベースモデルをスクラッチから事前訓練し、位置埋め込みを使わずに外れ値が消えることを見出した。
論文 参考訳(メタデータ) (2020-11-09T12:49:39Z) - Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。
空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。
提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
論文 参考訳(メタデータ) (2020-11-06T12:17:01Z) - Embedding Vector Differences Can Be Aligned With Uncertain Intensional
Logic Differences [0.0]
DeepWalkアルゴリズムは、OpenCog AGIシステムにおける知識を表現するために使用されるハイパーグラフをラベル付けしたAtomspaceのノードに埋め込みベクトルを割り当てるために使用される。
埋め込みベクトル間のベクトル差分演算は、埋め込みベクトルに対応するハイパーグラフノード間の「押し込み差分演算」と適切に整合可能であることを示す。
論文 参考訳(メタデータ) (2020-05-26T06:20:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。