論文の概要: A Walsh Hadamard Derived Linear Vector Symbolic Architecture

• arxiv url: http://arxiv.org/abs/2410.22669v1
• Date: Wed, 30 Oct 2024 03:42:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:28:32.508355
• Title: A Walsh Hadamard Derived Linear Vector Symbolic Architecture
• Title（参考訳）: 線形ベクトル記号アーキテクチャによるウォルシュ・アダマールの導出
• Authors: Mohammad Mahmudul Alam, Alexander Oberle, Edward Raff, Stella Biderman, Tim Oates, James Holt,
• Abstract要約: シンボリックベクトルアーキテクチャ(VSAs)は、ニューロシンボリックAIを開発するためのアプローチである。 HLBは計算効率が良く、従来のVSAタスクで有効であるように設計されている。
• 参考スコア（独自算出の注目度）: 83.27945465029167
• License:
• Abstract: Vector Symbolic Architectures (VSAs) are one approach to developing Neuro-symbolic AI, where two vectors in $\mathbb{R}^d$ are `bound' together to produce a new vector in the same space. VSAs support the commutativity and associativity of this binding operation, along with an inverse operation, allowing one to construct symbolic-style manipulations over real-valued vectors. Most VSAs were developed before deep learning and automatic differentiation became popular and instead focused on efficacy in hand-designed systems. In this work, we introduce the Hadamard-derived linear Binding (HLB), which is designed to have favorable computational efficiency, and efficacy in classic VSA tasks, and perform well in differentiable systems. Code is available at https://github.com/FutureComputing4AI/Hadamard-derived-Linear-Binding
• Abstract（参考訳）: ベクトルシンボリックアーキテクチャ(VSAs)は、ニューロシンボリックAIを開発するための1つのアプローチであり、$\mathbb{R}^d$の2つのベクトルは、同じ空間に新しいベクトルを生成するために'bound'である。 VSAsは、この結合操作の可換性と連想性をサポートし、逆演算により、実数値ベクトル上でシンボルスタイルの操作を構築することができる。 ほとんどのVSAは、ディープラーニングと自動微分が普及する前に開発され、代わりに手作業で設計されたシステムにおける有効性に焦点を当てた。 本研究では,従来のVSAタスクにおいて,計算効率と有効性に優れ,微分可能なシステムでよく機能する,アダマール系線形バインディング(HLB)を提案する。 コードはhttps://github.com/FutureComputing4AI/Hadamard- derived-Linear-Bindingで入手できる。

関連論文リスト

• Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
  本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。 このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。 本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T07:54:08Z)
• Householder Projector for Unsupervised Latent Semantics Discovery [58.92485745195358]
  Householder Projectorは、画像の忠実さを犠牲にすることなく、StyleGANがより複雑で正確なセマンティック属性を見つけるのに役立つ。 プロジェクタを事前訓練したStyleGAN2/StyleGAN3に統合し、複数のベンチマークでモデルを評価する。
  論文  参考訳（メタデータ） (2023-07-16T11:43:04Z)
• Understanding Hyperdimensional Computing for Parallel Single-Pass Learning [47.82940409267635]
  我々はHDCがハードウェア効率を保ちながら、最先端のHDCモデルよりも最大7.6%性能が高いことを示す。 本稿では,HDC の限界を超える新しいクラス VSA,有限群 VSA を提案する。 実験の結果, RFF法とグループVSAはともに最先端HDCモデルより最大7.6%優れていた。
  論文  参考訳（メタデータ） (2022-02-10T02:38:56Z)
• Fast Differentiable Matrix Square Root and Inverse Square Root [65.67315418971688]
  微分可能な行列平方根と逆平方根を計算するためのより効率的な2つの変種を提案する。 前方伝搬には, Matrix Taylor Polynomial (MTP) を用いる方法と, Matrix Pad'e Approximants (MPA) を使用する方法がある。 一連の数値実験により、両方の手法がSVDやNSの繰り返しと比較してかなりスピードアップすることが示された。
  論文  参考訳（メタデータ） (2022-01-29T10:00:35Z)
• HyperSeed: Unsupervised Learning with Vector Symbolic Architectures [5.258404928739212]
  本稿では,Hyperseedという新しい教師なし機械学習手法を提案する。 VSA(Vector Symbolic Architectures)を活用して、問題のないデータのトポロジ保存機能マップを高速に学習する。 ハイパーシードアルゴリズムの2つの特徴的特徴は,1)少数の入力データサンプルから学習すること,2)1つのベクトル演算に基づく学習規則である。
  論文  参考訳（メタデータ） (2021-10-15T20:05:43Z)
• Learning with Holographic Reduced Representations [28.462635977110413]
  Holographic Reduced Representations (HRR)は、実数値ベクトル上でシンボリックAIを実行する方法である。 本稿では,ハイブリッド型ニューラルシンボリック・アプローチが学習に有効かどうかを理解するために,このアプローチを再考する。
  論文  参考訳（メタデータ） (2021-09-05T19:37:34Z)
• A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
  我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。 直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。 この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
  論文  参考訳（メタデータ） (2021-02-18T19:39:22Z)
• Variable Binding for Sparse Distributed Representations: Theory and Applications [4.150085009901543]
  記号推論とニューラルネットワークは、しばしば互換性のないアプローチとみなされる。ベクトル記号アーキテクチャ(VSAs)として知られるコネクショナリストモデルは、このギャップを埋める可能性がある。 VSAsは密度の高い擬似ランダムベクターでシンボルを符号化し、そこで情報はニューロン全体にわたって分散される。 VSAsにおける高密度ベクトル間の変数結合は、次元性を高める演算であるスパースベクトル間のテンソル積結合と数学的に等価であることを示す。
  論文  参考訳（メタデータ） (2020-09-14T20:40:09Z)
• Tensor Relational Algebra for Machine Learning System Design [7.764107702934616]
  本稿では、リレーショナルテンソル代数(TRA)と呼ばれる別の実装抽象化を提案する。 TRA は、リレーショナル代数に基づく集合基底代数である。 我々の実証研究は、最適化されたTRAベースのバックエンドが、分散クラスタでMLを実行する際の選択肢を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-09-01T15:51:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。