論文の概要: Self-Attention Based Semantic Decomposition in Vector Symbolic Architectures

• arxiv url: http://arxiv.org/abs/2403.13218v1
• Date: Wed, 20 Mar 2024 00:37:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 18:27:31.910100
• Title: Self-Attention Based Semantic Decomposition in Vector Symbolic Architectures
• Title（参考訳）: ベクトルシンボリックアーキテクチャにおける自己注意に基づく意味分解
• Authors: Calvin Yeung, Prathyush Poduval, Mohsen Imani,
• Abstract要約: 本稿では,反復探索問題における自己アテンションに基づく更新規則に基づく共振器ネットワークの新たな変種を提案する。 認識に基づくパターン認識,シーン分解,オブジェクト推論など,多くのタスクに応用できる。
• 参考スコア（独自算出の注目度）: 6.473177443214531
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vector Symbolic Architectures (VSAs) have emerged as a novel framework for enabling interpretable machine learning algorithms equipped with the ability to reason and explain their decision processes. The basic idea is to represent discrete information through high dimensional random vectors. Complex data structures can be built up with operations over vectors such as the "binding" operation involving element-wise vector multiplication, which associates data together. The reverse task of decomposing the associated elements is a combinatorially hard task, with an exponentially large search space. The main algorithm for performing this search is the resonator network, inspired by Hopfield network-based memory search operations. In this work, we introduce a new variant of the resonator network, based on self-attention based update rules in the iterative search problem. This update rule, based on the Hopfield network with log-sum-exp energy function and norm-bounded states, is shown to substantially improve the performance and rate of convergence. As a result, our algorithm enables a larger capacity for associative memory, enabling applications in many tasks like perception based pattern recognition, scene decomposition, and object reasoning. We substantiate our algorithm with a thorough evaluation and comparisons to baselines.
• Abstract（参考訳）: ベクトル記号アーキテクチャ(VSAs)は、意思決定プロセスの推論と説明機能を備えた解釈可能な機械学習アルゴリズムを実現するための新しいフレームワークとして登場した。 基本的な考え方は、高次元のランダムベクトルを通して離散情報を表現することである。 複雑なデータ構造は、データを関連付ける要素単位のベクトル乗算を含む「バインディング」操作のようなベクトル上の操作で構築することができる。 関連する要素を分解する逆タスクは、指数的に大きな探索空間を持つ組合せ的に難しいタスクである。 この探索を行うための主要なアルゴリズムは、ホップフィールドネットワークベースのメモリサーチ操作にインスパイアされた共振器ネットワークである。 本研究では、反復探索問題における自己アテンションに基づく更新規則に基づく共振器ネットワークの新たな変種を導入する。 この更新規則は,log-sum-expエネルギ関数とノルムバウンド状態を持つホップフィールドネットワークに基づいて,コンバージェンスの性能と速度を大幅に向上させることを示す。 その結果,認識に基づくパターン認識,シーン分解,オブジェクト推論など,多くのタスクに応用することが可能となった。 我々はアルゴリズムを徹底的な評価とベースラインとの比較で検証する。

関連論文リスト

• Deciphering 'What' and 'Where' Visual Pathways from Spectral Clustering of Layer-Distributed Neural Representations [15.59251297818324]
  本稿では,ニューラルネットワークのアクティベーションに含まれる情報をグループ化する手法を提案する。 すべてのレイヤの機能を利用して、モデルのどの部分が関連する情報を含んでいるのかを推測する必要をなくします。
  論文  参考訳（メタデータ） (2023-12-11T01:20:34Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Neural Constraint Satisfaction: Hierarchical Abstraction for Combinatorial Generalization in Object Rearrangement [75.9289887536165]
  基礎となるエンティティを明らかにするための階層的抽象化手法を提案する。 本研究では,エージェントのモデルにおける実体の状態の介入と,環境中の物体に作用する状態の対応関係を学習する方法を示す。 この対応を利用して、オブジェクトの異なる数や構成に一般化する制御法を開発する。
  論文  参考訳（メタデータ） (2023-03-20T18:19:36Z)
• Semantics-Aware Dynamic Localization and Refinement for Referring Image Segmentation [102.25240608024063]
  画像の参照は、言語表現からのイメージセグメントを参照する。 そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。 比較すると,本手法はより汎用的で有効である。
  論文  参考訳（メタデータ） (2023-03-11T08:42:40Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Complexity of Representations in Deep Learning [2.0219767626075438]
  データ複雑性の観点からクラスを分離する際の学習表現の有効性を分析する。 データ複雑性がネットワークを通じてどのように進化するか、トレーニング中にどのように変化するのか、そして、ネットワーク設計とトレーニングサンプルの可用性によってどのように影響を受けるのかを示す。
  論文  参考訳（メタデータ） (2022-09-01T15:20:21Z)
• Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent Signals: Application to Hyperspectral Imaging [71.57324258813675]
  相互依存信号のデータセットは、列が強い依存を示す行列として定義される。 ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。 ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
  論文  参考訳（メタデータ） (2022-03-29T21:00:39Z)
• Sparsely ensembled convolutional neural network classifiers via reinforcement learning [0.0]
  畳み込みニューラルネットワーク(CNN)は,最小動作原理にインスパイアされた目的関数で学習する。 我々はエージェントに事前学習した分類器の集合を通してイメージを知覚するように教え、その結果、動的に構成されたシステムに計算グラフを展開させたい。 実験の結果,エージェントが計算の動的(および文脈に依存した)構造を利用すると,従来のアンサンブル学習よりも優れることがわかった。
  論文  参考訳（メタデータ） (2021-02-07T21:26:57Z)
• Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
  我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。 空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。 提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-06T12:17:01Z)
• Resonator networks for factoring distributed representations of data structures [3.46969645559477]
  分散表現空間上の代数を構成する高次元ベクトルと演算を組み合わせることにより、データ構造がどのように符号化されるかを示す。 提案アルゴリズムは共振器ネットワークと呼ばれ、VSA乗算演算とパターン補完をインターリーブする新しいタイプのリカレントニューラルネットワークである。 共振器ネットワークは、現実世界のドメインにおける無数の人工知能問題にVSAを適用する可能性を開く。
  論文  参考訳（メタデータ） (2020-07-07T19:24:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。