論文の概要: Capacity Analysis of Vector Symbolic Architectures
- arxiv url: http://arxiv.org/abs/2301.10352v1
- Date: Tue, 24 Jan 2023 23:43:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-26 16:15:04.716362
- Title: Capacity Analysis of Vector Symbolic Architectures
- Title（参考訳）: ベクトルシンボリックアーキテクチャの容量解析
- Authors: Kenneth L. Clarkson, Shashanka Ubaru, Elizabeth Yang
- Abstract要約: 超次元コンピューティング(HDC)は、高次元ベクトルと様々なベクトル演算を用いてシンボルを表現・操作する生物学的に着想を得たフレームワークである。
我々は,3つのVSA(MAP-I,MAP-B,バイナリスパース)の表現能力に関する理論的解析を行った。
MAP-BとBinary Sparseの結合解析は、いくつかの濃度不等式の新しい応用を含む。
- 参考スコア（独自算出の注目度）: 10.913581405621231
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperdimensional computing (HDC) is a biologically-inspired framework that
uses high-dimensional vectors and various vector operations to represent and
manipulate symbols. The ensemble of a particular vector space and two vector
operations (one addition-like for "bundling" and one outer-product-like for
"binding") form what is called a "vector symbolic architecture" (VSA). While
VSAs have been employed in numerous applications and studied empirically, many
theoretical questions about VSAs remain open.
We provide theoretical analyses for the *representation capacities* of three
popular VSAs: MAP-I, MAP-B, and Binary Sparse. Representation capacity here
refers to upper bounds on the dimensions of the VSA vectors required to perform
certain symbolic tasks (such as testing for set membership $i \in S$ and
estimating set intersection sizes $|S \cap T|$) to a given degree of accuracy.
We also describe a relationship between the MAP-I VSA to Hopfield networks,
which are simple models of associative memory, and analyze the ability of
Hopfield networks to perform some of the same tasks that are typically asked of
VSAs.
Our analysis of MAP-I casts the VSA vectors as the outputs of *sketching*
(dimensionality reduction) algorithms such as the Johnson-Lindenstrauss
transform; this provides a clean, simple framework for obtaining bounds on
MAP-I's representation capacity. We also provide, to our knowledge, the first
analysis of testing set membership in a bundle of general pairwise bindings
from MAP-I. Binary sparse VSAs are well-known to be related to Bloom filters;
we give analyses of set intersection for Bloom and Counting Bloom filters. Our
analysis of MAP-B and Binary Sparse bundling include new applications of
several concentration inequalities.
- Abstract（参考訳）: 超次元コンピューティング(HDC)は、高次元ベクトルと様々なベクトル演算を用いてシンボルを表現・操作する生物学的に着想を得たフレームワークである。
特定のベクトル空間と2つのベクトル演算のアンサンブル(1つは「束ねる」、もう1つは「結合する」)は、「ベクトル記号アーキテクチャ」(VSA)と呼ばれるものを形成する。
VSAsは多くのアプリケーションで採用され、経験的に研究されているが、VSAsに関する多くの理論的疑問は未解決のままである。
我々は、人気のある3つのVSA(MAP-I, MAP-B, バイナリスパース)の*表現能力に関する理論的解析を行う。
ここでの表現能力は、ある記号的タスクを実行するのに必要なVSAベクトルの次元上の上限(例えば、集合メンバシップ$i \in S$のテストや、集合交叉サイズ$|S \cap T|$)を与えられた精度で推定する。
また、連想メモリの単純なモデルであるMAP-I VSAとホップフィールドネットワークの関係を記述し、通常VSAに要求されるのと同じタスクを実行するホップフィールドネットワークの能力を分析する。
MAP-I の解析では,Jonson-Lindenstrauss 変換のような *sketching* (Digitality reduction) アルゴリズムの出力として VSA ベクトルをキャストしている。
また、我々の知る限り、MAP-Iからの一般対結合の束におけるテストセットメンバシップの最初の分析も提供する。
バイナリスパースVSAはブルームフィルタと関連があることがよく知られており、ブルームフィルタとカウントブルームフィルタのセット交叉の解析を行う。
MAP-BとBinary Sparseの結合解析は、いくつかの濃度不等式の新しい応用を含む。
関連論文リスト
- A Walsh Hadamard Derived Linear Vector Symbolic Architecture [83.27945465029167]
シンボリックベクトルアーキテクチャ(VSAs)は、ニューロシンボリックAIを開発するためのアプローチである。
HLBは計算効率が良く、従来のVSAタスクで有効であるように設計されている。
論文 参考訳（メタデータ） (2024-10-30T03:42:59Z) - MGMapNet: Multi-Granularity Representation Learning for End-to-End Vectorized HD Map Construction [75.93907511203317]
多粒性表現を持つ地図要素をモデル化するためのMGMapNet(Multi-Granularity Map Network)を提案する。
提案したMGMapNetは最先端のパフォーマンスを達成し,MapTRv2 を nuScenes で 5.3 mAP,Argoverse2 で 4.4 mAP で上回った。
論文 参考訳（メタデータ） (2024-10-10T09:05:23Z) - Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。
このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。
本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-07-03T07:54:08Z) - Learning Implicit Feature Alignment Function for Semantic Segmentation [51.36809814890326]
Implicit Feature Alignment Function (IFA)は、暗黙の神経表現の急速に拡大するトピックにインスパイアされている。
IFAは機能マップを異なるレベルで暗黙的に整列し、任意の解像度でセグメンテーションマップを生成することができることを示す。
提案手法は,様々なアーキテクチャの改善と組み合わせて,一般的なベンチマークにおける最先端の精度のトレードオフを実現する。
論文 参考訳（メタデータ） (2022-06-17T09:40:14Z) - Understanding Hyperdimensional Computing for Parallel Single-Pass
Learning [47.82940409267635]
我々はHDCがハードウェア効率を保ちながら、最先端のHDCモデルよりも最大7.6%性能が高いことを示す。
本稿では,HDC の限界を超える新しいクラス VSA,有限群 VSA を提案する。
実験の結果, RFF法とグループVSAはともに最先端HDCモデルより最大7.6%優れていた。
論文 参考訳（メタデータ） (2022-02-10T02:38:56Z) - HyperSeed: Unsupervised Learning with Vector Symbolic Architectures [5.258404928739212]
本稿では,Hyperseedという新しい教師なし機械学習手法を提案する。
VSA(Vector Symbolic Architectures)を活用して、問題のないデータのトポロジ保存機能マップを高速に学習する。
ハイパーシードアルゴリズムの2つの特徴的特徴は,1)少数の入力データサンプルから学習すること,2)1つのベクトル演算に基づく学習規則である。
論文 参考訳（メタデータ） (2021-10-15T20:05:43Z) - Computing on Functions Using Randomized Vector Representations [4.066849397181077]
この新しい関数エンコーディングと計算フレームワーク Vector Function Architecture (VFA) と呼ぶ。
我々の分析と結果から,VFAは分散ニューラルネットワークにおける関数の表現と操作のための強力な新しいフレームワークとなっていることが示唆された。
論文 参考訳（メタデータ） (2021-09-08T04:39:48Z) - Improving Aspect-based Sentiment Analysis with Gated Graph Convolutional
Networks and Syntax-based Regulation [89.38054401427173]
Aspect-based Sentiment Analysis (ABSA) は、特定の側面に向けて文の感情極性を予測する。
依存関係ツリーは、ABSAの最先端のパフォーマンスを生成するために、ディープラーニングモデルに統合することができる。
本稿では,この2つの課題を克服するために,グラフに基づく新しいディープラーニングモデルを提案する。
論文 参考訳（メタデータ） (2020-10-26T07:36:24Z) - A comparison of Vector Symbolic Architectures [14.82489178857542]
シンボリックベクトルアーキテクチャは、高次元ベクトル空間と慎重に設計された作用素の集合を組み合わせて、大きな数値ベクトルでシンボリック計算を行う。
本稿では,11種類のVSA実装の概要と,その共通点と基礎となるベクトル空間と演算子の違いについて述べる。
主な貢献は,(1)バンドルのキャパシティ,(2)非コンパクトなアンバインド操作の近似品質,(3)クエリ応答性能に対する結合とバンドル操作の組み合わせの影響,(4)視覚的場所認識と言語認識という2つのサンプルアプリケーションの性能を評価するために利用可能な実装の実験的比較である。
論文 参考訳（メタデータ） (2020-01-31T12:42:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。