論文の概要: Residual and Attentional Architectures for Vector-Symbols
- arxiv url: http://arxiv.org/abs/2207.08953v1
- Date: Mon, 18 Jul 2022 21:38:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 13:02:44.014438
- Title: Residual and Attentional Architectures for Vector-Symbols
- Title（参考訳）: ベクトルシンボルの残留と注意アーキテクチャ
- Authors: Wilkie Olin-Ammentorp Maxim Bazhenov
- Abstract要約: ベクトルシンボリックアーキテクチャ(VSAs)は、非常に柔軟でユニークな利点を持つ計算方法を提供する。
本研究では,FHRR (Fourier Holographic Reduced Representation) VSAのフレームワーク内で提供される操作の効率性と深層ネットワークのパワーを組み合わせて,新たなVSAベースの残差と注意に基づくニューラルネットワークアーキテクチャを構築する。
このことは、VSAの新たな応用と、ニューロモルフィックハードウェアに最先端のニューラルモデルを実装するための潜在的なパスを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Vector-symbolic architectures (VSAs) provide methods for computing which are
highly flexible and carry unique advantages. Concepts in VSAs are represented
by 'symbols,' long vectors of values which utilize properties of
high-dimensional spaces to represent and manipulate information. In this new
work, we combine efficiency of the operations provided within the framework of
the Fourier Holographic Reduced Representation (FHRR) VSA with the power of
deep networks to construct novel VSA based residual and attention-based neural
network architectures. Using an attentional FHRR architecture, we demonstrate
that the same network architecture can address problems from different domains
(image classification and molecular toxicity prediction) by encoding different
information into the network's inputs, similar to the Perceiver model. This
demonstrates a novel application of VSAs and a potential path to implementing
state-of-the-art neural models on neuromorphic hardware.
- Abstract（参考訳）: ベクトルシンボリックアーキテクチャ(VSAs)は、柔軟でユニークな利点を持つ計算方法を提供する。
VSAsの概念は、情報表現と操作のために高次元空間の特性を利用する値の長いベクトルである「シンボル」で表される。
本稿では,FHRR (Fourier Holographic Reduced Representation) VSAのフレームワーク内で提供される操作の効率性と深層ネットワークのパワーを組み合わせて,新たなVSAベースの残差と注意に基づくニューラルネットワークアーキテクチャを構築する。
注意深いFHRRアーキテクチャを用いて、Perceiverモデルと同様、異なる情報をネットワークの入力にエンコードすることで、同じネットワークアーキテクチャが異なるドメイン(画像分類と分子毒性予測)からの問題に対処できることを実証する。
これは、vsasの新しい応用と、ニューロモルフィックハードウェアに最先端のニューラルモデルを実装する潜在的パスを示す。
関連論文リスト
- TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。
時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。
並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文 参考訳（メタデータ） (2024-04-15T06:01:48Z) - Equivariant Matrix Function Neural Networks [1.8717045355288808]
解析行列同変関数を通じて非局所的相互作用をパラメータ化する新しいアーキテクチャであるマトリックス関数ニューラルネットワーク(MFNs)を導入する。
MFNは量子系の複雑な非局所的な相互作用を捉えることができ、新しい最先端の力場への道を歩むことができる。
論文 参考訳（メタデータ） (2023-10-16T14:17:00Z) - Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
論文 参考訳（メタデータ） (2023-05-26T04:34:28Z) - Symbolic Synthesis of Neural Networks [0.0]
グラフベース合成ニューラルネットワーク(GSSNN)について
GSSNNは、トポロジとパラメータがシンボルプログラムの出力によって通知されるニューラルネットワークの一種である。
人口レベルでシンボリック抽象化を開発することで、局所的特徴や離散的特徴を含む少数のデータを用いて、改良された一般化の信頼性の高いパターンを導出できることを実証する。
論文 参考訳（メタデータ） (2023-03-06T18:13:14Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - Spatial Dependency Networks: Neural Layers for Improved Generative Image
Modeling [79.15521784128102]
画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。
空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。
空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-03-16T07:01:08Z) - Visual Concept Reasoning Networks [93.99840807973546]
分割変換マージ戦略は、視覚認識タスクのための畳み込みニューラルネットワークのアーキテクチャ制約として広く使用されている。
我々は、この戦略を利用して、高レベルの視覚概念間の推論を可能にするために、Visual Concept Reasoning Networks (VCRNet) と組み合わせることを提案する。
提案するモデルであるVCRNetは、パラメータ数を1%以下にすることで、一貫して性能を向上する。
論文 参考訳（メタデータ） (2020-08-26T20:02:40Z) - Resonator networks for factoring distributed representations of data
structures [3.46969645559477]
分散表現空間上の代数を構成する高次元ベクトルと演算を組み合わせることにより、データ構造がどのように符号化されるかを示す。
提案アルゴリズムは共振器ネットワークと呼ばれ、VSA乗算演算とパターン補完をインターリーブする新しいタイプのリカレントニューラルネットワークである。
共振器ネットワークは、現実世界のドメインにおける無数の人工知能問題にVSAを適用する可能性を開く。
論文 参考訳（メタデータ） (2020-07-07T19:24:27Z) - Embedded Encoder-Decoder in Convolutional Networks Towards Explainable
AI [0.0]
本稿では,刺激の視覚的特徴を表す新しい説明可能な畳み込みニューラルネットワーク(XCNN)を提案する。
CIFAR-10, Tiny ImageNet, MNISTデータセットを用いた実験結果から, 提案アルゴリズム (XCNN) をCNNで説明可能なものにすることに成功した。
論文 参考訳（メタデータ） (2020-06-19T15:49:39Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。