論文の概要: Optimal quadratic binding for relational reasoning in vector symbolic neural architectures

• arxiv url: http://arxiv.org/abs/2204.07186v1
• Date: Thu, 14 Apr 2022 18:41:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-19 03:13:55.409838
• Title: Optimal quadratic binding for relational reasoning in vector symbolic neural architectures
• Title（参考訳）: ベクトルシンボリックニューラルアーキテクチャにおける関係推論のための最適二次結合
• Authors: Naoki Hiratani, Haim Sompolinsky
• Abstract要約: 我々はオクトニオン代数の行列表現に基づく新しい結合行列のクラスを導入する。 これらの行列は、少数のペアが存在する場合に、以前に知られていた方法よりも、より正確なアンバインドを可能にすることを示す。 しかし、多くの有界対が存在する場合、ランダムな二次結合はオクトニオンや以前に提案された結合法と同様に機能することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Binding operation is fundamental to many cognitive processes, such as cognitive map formation, relational reasoning, and language comprehension. In these processes, two different modalities, such as location and objects, events and their contextual cues, and words and their roles, need to be bound together, but little is known about the underlying neural mechanisms. Previous works introduced a binding model based on quadratic functions of bound pairs, followed by vector summation of multiple pairs. Based on this framework, we address following questions: Which classes of quadratic matrices are optimal for decoding relational structures? And what is the resultant accuracy? We introduce a new class of binding matrices based on a matrix representation of octonion algebra, an eight-dimensional extension of complex numbers. We show that these matrices enable a more accurate unbinding than previously known methods when a small number of pairs are present. Moreover, numerical optimization of a binding operator converges to this octonion binding. We also show that when there are a large number of bound pairs, however, a random quadratic binding performs as well as the octonion and previously-proposed binding methods. This study thus provides new insight into potential neural mechanisms of binding operations in the brain.
• Abstract（参考訳）: 結合操作は、認知地図形成、関係推論、言語理解など、多くの認知プロセスに基本的である。 これらのプロセスでは、位置とオブジェクト、イベントとその文脈の手がかり、言葉とそれらの役割の2つの異なるモードが結合する必要があるが、基礎となる神経機構についてはほとんど知られていない。 先行研究は、有界対の二次函数に基づく結合モデルを導入し、次いで複数の対のベクトル和を導入した。 二次行列のどのクラスが関係構造を復号するのに最適か? そして、その結果の正確さは何か? 複素数の8次元拡大であるオクタニオン代数の行列表現に基づく新しい結合行列のクラスを導入する。 これらの行列は、少数のペアが存在する場合、従来知られていた方法よりも正確な非結合を可能にする。 さらに、結合作用素の数値最適化はこのオクトン結合に収束する。 また, 多数の束縛対が存在する場合, ランダムな二次結合はオクタニオン法や前述した結合法と同様に作用することを示した。 この研究は、脳内の結合操作の潜在的な神経機構に関する新たな知見を提供する。

関連論文リスト

• Optimal Matrix-Mimetic Tensor Algebras via Variable Projection [0.0]
  行列緩和性(Matrix mimeticity)は、テンソルを、行列に類似した乗算、分解、解析が可能な作用素として解釈することから生じる。 我々は、データの事前の知識に頼ることなく、最適線形写像と対応するテンソル表現を学習する。 可変射影型アルゴリズムの変換と収束解析の独創性理論を提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:52:23Z)
• Efficient Vectorized Backpropagation Algorithms for Training Feedforward Networks Composed of Quadratic Neurons [1.6574413179773761]
  本稿では,1つの二次ニューロンを用いたXOR問題の解法を提案する。 これは$mathcalC$境界クラスタからなる任意のデータセットが、$mathcalC$二次ニューロンの単一の層でのみ分離可能であることを示している。
  論文  参考訳（メタデータ） (2023-10-04T15:39:57Z)
• Information Processing by Neuron Populations in the Central Nervous System: Mathematical Structure of Data and Operations [0.0]
  哺乳類の中枢神経系の複雑な構造では、神経細胞が集団を形成する。 これらのニューロン集団の正確なエンコーディングと操作はまだ発見されていない。 この研究は、認知科学やAIといった分野における理解を深める上で、マトリックス埋め込みの可能性を照らしている。
  論文  参考訳（メタデータ） (2023-09-05T15:52:45Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Benchmarking Compositionality with Formal Languages [64.09083307778951]
  我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。 多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。 モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
  論文  参考訳（メタデータ） (2022-08-17T10:03:18Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• Learning Algebraic Recombination for Compositional Generalization [71.78771157219428]
  合成一般化のための代数的組換え学習のためのエンドツーエンドニューラルモデルLeARを提案する。 主要な洞察は、意味解析タスクを潜在構文代数学と意味代数学の間の準同型としてモデル化することである。 2つの現実的・包括的構成一般化の実験は、我々のモデルの有効性を実証している。
  論文  参考訳（メタデータ） (2021-07-14T07:23:46Z)
• Abelian Neural Networks [48.52497085313911]
  まず、アベリア群演算のためのニューラルネットワークアーキテクチャを構築し、普遍近似特性を導出する。 連想対称の特徴づけを用いて、アベリア半群演算に拡張する。 固定単語埋め込み上でモデルをトレーニングし、元の word2vec よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-02-24T11:52:21Z)
• Lattice Representation Learning [6.427169570069738]
  ユークリッド空間に埋め込まれた格子を利用する離散表現を学習するための理論とアルゴリズムを導入する。 格子表現は興味深い性質の組み合わせを持つ:a) 格子量子化を用いて明示的に計算できるが、導入したアイデアを使って効率的に学習することができる。 この記事では、トレーニングや推論時間に使用される式をリンクする新しい数学的結果や、2つの一般的なデータセットに対する実験的な検証など、最初の2つの特性を探索し、活用するための基盤の整備に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-24T16:05:11Z)
• FLAMBE: Structural Complexity and Representation Learning of Low Rank MDPs [53.710405006523274]
  この研究は、表現学習の問題に焦点を当てている。 基礎となる(未知の)力学が低階遷移行列に対応するという仮定の下で、表現学習問題と特定の非線形行列分解問題との関連性を示す。 低階遷移モデルにおけるRLの探索と表現学習を行うFLAMBEを開発した。
  論文  参考訳（メタデータ） (2020-06-18T19:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。