論文の概要: Residual and Attentional Architectures for Vector-Symbols
- arxiv url: http://arxiv.org/abs/2207.08953v1
- Date: Mon, 18 Jul 2022 21:38:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 13:02:44.014438
- Title: Residual and Attentional Architectures for Vector-Symbols
- Title(参考訳): ベクトルシンボルの残留と注意アーキテクチャ
- Authors: Wilkie Olin-Ammentorp Maxim Bazhenov
- Abstract要約: ベクトルシンボリックアーキテクチャ(VSAs)は、非常に柔軟でユニークな利点を持つ計算方法を提供する。
本研究では,FHRR (Fourier Holographic Reduced Representation) VSAのフレームワーク内で提供される操作の効率性と深層ネットワークのパワーを組み合わせて,新たなVSAベースの残差と注意に基づくニューラルネットワークアーキテクチャを構築する。
このことは、VSAの新たな応用と、ニューロモルフィックハードウェアに最先端のニューラルモデルを実装するための潜在的なパスを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Vector-symbolic architectures (VSAs) provide methods for computing which are
highly flexible and carry unique advantages. Concepts in VSAs are represented
by 'symbols,' long vectors of values which utilize properties of
high-dimensional spaces to represent and manipulate information. In this new
work, we combine efficiency of the operations provided within the framework of
the Fourier Holographic Reduced Representation (FHRR) VSA with the power of
deep networks to construct novel VSA based residual and attention-based neural
network architectures. Using an attentional FHRR architecture, we demonstrate
that the same network architecture can address problems from different domains
(image classification and molecular toxicity prediction) by encoding different
information into the network's inputs, similar to the Perceiver model. This
demonstrates a novel application of VSAs and a potential path to implementing
state-of-the-art neural models on neuromorphic hardware.
- Abstract(参考訳): ベクトルシンボリックアーキテクチャ(VSAs)は、柔軟でユニークな利点を持つ計算方法を提供する。
VSAsの概念は、情報表現と操作のために高次元空間の特性を利用する値の長いベクトルである「シンボル」で表される。
本稿では,FHRR (Fourier Holographic Reduced Representation) VSAのフレームワーク内で提供される操作の効率性と深層ネットワークのパワーを組み合わせて,新たなVSAベースの残差と注意に基づくニューラルネットワークアーキテクチャを構築する。
注意深いFHRRアーキテクチャを用いて、Perceiverモデルと同様、異なる情報をネットワークの入力にエンコードすることで、同じネットワークアーキテクチャが異なるドメイン(画像分類と分子毒性予測)からの問題に対処できることを実証する。
これは、vsasの新しい応用と、ニューロモルフィックハードウェアに最先端のニューラルモデルを実装する潜在的パスを示す。
関連論文リスト
- A Heterogeneous Dynamic Convolutional Neural Network for Image
Super-resolution [111.97970576223622]
画像超解像(HDSRNet)における異種動的畳み込みネットワークを提案する。
下位のネットワークは対称アーキテクチャを使用して、異なるレイヤの関係を強化し、より構造的な情報をマイニングする。
実験結果から,HDSRNetは画像解決に有効であることが示唆された。
論文 参考訳(メタデータ) (2024-02-24T03:44:06Z) - Equivariant Matrix Function Neural Networks [1.8717045355288808]
解析行列同変関数を通じて非局所的相互作用をパラメータ化する新しいアーキテクチャであるマトリックス関数ニューラルネットワーク(MFNs)を導入する。
MFNは量子系の複雑な非局所的な相互作用を捉えることができ、新しい最先端の力場への道を歩むことができる。
論文 参考訳(メタデータ) (2023-10-16T14:17:00Z) - Set-based Neural Network Encoding [57.15855198512551]
一般化性能予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークの一般化性能予測には,クロスデータセットとクロスアーキテクチャという2つの新しいタスクを導入する。
論文 参考訳(メタデータ) (2023-05-26T04:34:28Z) - Symbolic Synthesis of Neural Networks [0.0]
グラフベース合成ニューラルネットワーク(GSSNN)について
GSSNNは、トポロジとパラメータがシンボルプログラムの出力によって通知されるニューラルネットワークの一種である。
人口レベルでシンボリック抽象化を開発することで、局所的特徴や離散的特徴を含む少数のデータを用いて、改良された一般化の信頼性の高いパターンを導出できることを実証する。
論文 参考訳(メタデータ) (2023-03-06T18:13:14Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳(メタデータ) (2022-11-15T10:15:21Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳(メタデータ) (2022-04-15T10:45:26Z) - Spatial Dependency Networks: Neural Layers for Improved Generative Image
Modeling [79.15521784128102]
画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。
空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。
空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-03-16T07:01:08Z) - Visual Concept Reasoning Networks [93.99840807973546]
分割変換マージ戦略は、視覚認識タスクのための畳み込みニューラルネットワークのアーキテクチャ制約として広く使用されている。
我々は、この戦略を利用して、高レベルの視覚概念間の推論を可能にするために、Visual Concept Reasoning Networks (VCRNet) と組み合わせることを提案する。
提案するモデルであるVCRNetは、パラメータ数を1%以下にすることで、一貫して性能を向上する。
論文 参考訳(メタデータ) (2020-08-26T20:02:40Z) - Resonator networks for factoring distributed representations of data
structures [3.46969645559477]
分散表現空間上の代数を構成する高次元ベクトルと演算を組み合わせることにより、データ構造がどのように符号化されるかを示す。
提案アルゴリズムは共振器ネットワークと呼ばれ、VSA乗算演算とパターン補完をインターリーブする新しいタイプのリカレントニューラルネットワークである。
共振器ネットワークは、現実世界のドメインにおける無数の人工知能問題にVSAを適用する可能性を開く。
論文 参考訳(メタデータ) (2020-07-07T19:24:27Z) - Embedded Encoder-Decoder in Convolutional Networks Towards Explainable
AI [0.0]
本稿では,刺激の視覚的特徴を表す新しい説明可能な畳み込みニューラルネットワーク(XCNN)を提案する。
CIFAR-10, Tiny ImageNet, MNISTデータセットを用いた実験結果から, 提案アルゴリズム (XCNN) をCNNで説明可能なものにすることに成功した。
論文 参考訳(メタデータ) (2020-06-19T15:49:39Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳(メタデータ) (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。