論文の概要: A comparison of Vector Symbolic Architectures
- arxiv url: http://arxiv.org/abs/2001.11797v4
- Date: Thu, 16 Dec 2021 09:28:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 06:40:17.951092
- Title: A comparison of Vector Symbolic Architectures
- Title（参考訳）: ベクトル記号型アーキテクチャの比較
- Authors: Kenny Schlegel, Peer Neubert, Peter Protzel
- Abstract要約: シンボリックベクトルアーキテクチャは、高次元ベクトル空間と慎重に設計された作用素の集合を組み合わせて、大きな数値ベクトルでシンボリック計算を行う。
本稿では,11種類のVSA実装の概要と,その共通点と基礎となるベクトル空間と演算子の違いについて述べる。
主な貢献は,(1)バンドルのキャパシティ,(2)非コンパクトなアンバインド操作の近似品質,(3)クエリ応答性能に対する結合とバンドル操作の組み合わせの影響,(4)視覚的場所認識と言語認識という2つのサンプルアプリケーションの性能を評価するために利用可能な実装の実験的比較である。
- 参考スコア（独自算出の注目度）: 14.82489178857542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vector Symbolic Architectures combine a high-dimensional vector space with a
set of carefully designed operators in order to perform symbolic computations
with large numerical vectors. Major goals are the exploitation of their
representational power and ability to deal with fuzziness and ambiguity. Over
the past years, several VSA implementations have been proposed. The available
implementations differ in the underlying vector space and the particular
implementations of the VSA operators. This paper provides an overview of eleven
available VSA implementations and discusses their commonalities and differences
in the underlying vector space and operators. We create a taxonomy of available
binding operations and show an important ramification for non self-inverse
binding operations using an example from analogical reasoning. A main
contribution is the experimental comparison of the available implementations in
order to evaluate (1) the capacity of bundles, (2) the approximation quality of
non-exact unbinding operations, (3) the influence of combining binding and
bundling operations on the query answering performance, and (4) the performance
on two example applications: visual place- and language-recognition. We expect
this comparison and systematization to be relevant for development of VSAs, and
to support the selection of an appropriate VSA for a particular task. The
implementations are available.
- Abstract（参考訳）: ベクトル記号アーキテクチャは、高次元ベクトル空間と慎重に設計された作用素の集合を結合し、大きな数値ベクトルで記号計算を行う。
主な目標は、その表現力と曖昧さと曖昧さを扱う能力の活用である。
過去数年間、いくつかのVSA実装が提案されている。
利用可能な実装は、基礎となるベクトル空間とVSA演算子の特定の実装で異なる。
本稿では,11種類のVSA実装の概要と,その共通点と基礎となるベクトル空間と演算子の違いについて述べる。
我々は、利用可能な結合操作の分類を作成し、類推的推論の例を用いて、非自己逆結合操作に対する重要な分岐を示す。
主な貢献は,(1)バンドルの容量,(2)非コンパクトなアンバインド操作の近似品質,(3)クエリ応答性能に対する結合とバンドル操作の組み合わせの影響,(4)視覚的場所認識と言語認識という2つの例によるパフォーマンスを評価するために利用可能な実装を実験的に比較することである。
我々は、この比較と体系化がVSAの開発に関係し、特定のタスクに適したVSAの選択をサポートすることを期待する。
実装は利用可能である。
関連論文リスト
- A Walsh Hadamard Derived Linear Vector Symbolic Architecture [83.27945465029167]
シンボリックベクトルアーキテクチャ(VSAs)は、ニューロシンボリックAIを開発するためのアプローチである。
HLBは計算効率が良く、従来のVSAタスクで有効であるように設計されている。
論文 参考訳（メタデータ） (2024-10-30T03:42:59Z) - Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。
このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。
本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-07-03T07:54:08Z) - In-Context Learning State Vector with Inner and Momentum Optimization [23.33921300777915]
大規模言語モデル(LLM)は、わずか数例からICL(In-Context Learning)を実行する素晴らしい能力を示した。
近年の研究では、ICLが学習した関数は変換器から得られる圧縮ベクトルで表現できることが示されている。
本稿では,これらの圧縮ベクトルの包括的解析,勾配降下法で訓練されたパラメータの並列化,状態ベクトルの概念について述べる。
論文 参考訳（メタデータ） (2024-04-17T10:19:15Z) - HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
ベクトル量子化(HyperVQ)における双曲空間の利用について検討する。
本稿では,高VQが識別タスクにおいてVQを上回り,高度に絡み合った潜在空間を学習しながら,再建作業や生成作業において相容れない性能を発揮することを示す。
論文 参考訳（メタデータ） (2024-03-18T03:17:08Z) - Capacity Analysis of Vector Symbolic Architectures [10.913581405621231]
超次元コンピューティング(HDC)は、高次元ベクトルと様々なベクトル演算を用いてシンボルを表現・操作する生物学的に着想を得たフレームワークである。
我々は,3つのVSA(MAP-I,MAP-B,バイナリスパース)の表現能力に関する理論的解析を行った。
MAP-BとBinary Sparseの結合解析は、いくつかの濃度不等式の新しい応用を含む。
論文 参考訳（メタデータ） (2023-01-24T23:43:25Z) - SRU++: Pioneering Fast Recurrence with Attention for Speech Recognition [49.42625022146008]
複数のASRベンチマークでコンフォーマーと比較することにより,SRU++をASRタスクに適用する利点を示す。
具体的には,SRU++ が長文音声入力において Conformer を追い越すことができる。
論文 参考訳（メタデータ） (2021-10-11T19:23:50Z) - Computing on Functions Using Randomized Vector Representations [4.066849397181077]
この新しい関数エンコーディングと計算フレームワーク Vector Function Architecture (VFA) と呼ぶ。
我々の分析と結果から,VFAは分散ニューラルネットワークにおける関数の表現と操作のための強力な新しいフレームワークとなっていることが示唆された。
論文 参考訳（メタデータ） (2021-09-08T04:39:48Z) - Improving Aspect-based Sentiment Analysis with Gated Graph Convolutional
Networks and Syntax-based Regulation [89.38054401427173]
Aspect-based Sentiment Analysis (ABSA) は、特定の側面に向けて文の感情極性を予測する。
依存関係ツリーは、ABSAの最先端のパフォーマンスを生成するために、ディープラーニングモデルに統合することができる。
本稿では,この2つの課題を克服するために,グラフに基づく新しいディープラーニングモデルを提案する。
論文 参考訳（メタデータ） (2020-10-26T07:36:24Z) - Embedding Vector Differences Can Be Aligned With Uncertain Intensional
Logic Differences [0.0]
DeepWalkアルゴリズムは、OpenCog AGIシステムにおける知識を表現するために使用されるハイパーグラフをラベル付けしたAtomspaceのノードに埋め込みベクトルを割り当てるために使用される。
埋め込みベクトル間のベクトル差分演算は、埋め込みベクトルに対応するハイパーグラフノード間の「押し込み差分演算」と適切に整合可能であることを示す。
論文 参考訳（メタデータ） (2020-05-26T06:20:32Z) - Multidirectional Associative Optimization of Function-Specific Word
Representations [86.87082468226387]
本稿では,関係する単語群間の関連を学習するためのニューラルネットワークフレームワークを提案する。
我々のモデルは結合関数固有の単語ベクトル空間を誘導し、例えば可塑性SVO合成のベクトルが近接して配置される。
このモデルは、共同空間においても単語群のメンバーシップに関する情報を保持し、SVO構造を前提とした複数のタスクに効果的に適用することができる。
論文 参考訳（メタデータ） (2020-05-11T17:07:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。