論文の概要: Developing a Foundation of Vector Symbolic Architectures Using Category Theory

• arxiv url: http://arxiv.org/abs/2501.05368v2
• Date: Fri, 02 May 2025 18:22:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 14:44:43.857888
• Title: Developing a Foundation of Vector Symbolic Architectures Using Category Theory
• Title（参考訳）: カテゴリー理論を用いたベクトルシンボリックアーキテクチャの基礎構築
• Authors: Nolan P Shaw, P Michael Furlong, Britt Anderson, Jeff Orchard,
• Abstract要約: 本稿では,圏論をベクトル記号アーキテクチャに適用する試みについて述べる。 VSAは、ニューラル処理と人間が実行するシンボリック推論を統一する必要性から生まれた。 この形式化は、そのような場合の正しいカン拡大が単純で要素的な操作として表現できるという証明を含む。
• 参考スコア（独自算出の注目度）: 1.293702091862065
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Connectionist approaches to machine learning, \emph{i.e.} neural networks, are enjoying a considerable vogue right now. However, these methods require large volumes of data and produce models that are uninterpretable to humans. An alternative framework that is compatible with neural networks and gradient-based learning, but explicitly models compositionality, is Vector Symbolic Architectures (VSAs). VSAs are a family of algebras on high-dimensional vector representations. They arose in cognitive science from the need to unify neural processing and the kind of symbolic reasoning that humans perform. While machine learning methods have benefited from category-theoretical analyses, VSAs have not yet received similar treatment. In this paper, we present a first attempt at applying category theory to VSAs. Specifically, We generalise from vectors to co-presheaves, and describe VSA operations as the right Kan extensions of the external tensor product. This formalisation involves a proof that the right Kan extension in such cases can be expressed as simple, element-wise operations. We validate our formalisation with worked examples that connect to current VSA implementations, while suggesting new possible designs for VSAs.
• Abstract（参考訳）: 機械学習に対するコネクショニストのアプローチである 'emph{i.e.} ニューラルネットワークは、現在かなりの流行を楽しんでいる。 しかし、これらの手法は大量のデータを必要とし、人間には解釈できないモデルを生成する。 ニューラルネットワークや勾配に基づく学習と互換性があるが、構成性を明示的にモデル化する別のフレームワークは、ベクトルシンボルアーキテクチャ(VSAs)である。 VSAs は高次元ベクトル表現上の代数の族である。 彼らは認知科学において、ニューラル処理と人間が実行する象徴的推論を統一する必要性から生まれた。 機械学習手法はカテゴリー理論解析の恩恵を受けているが、VSAsは同様の治療を受けていない。 本稿では,カテゴリ理論をVSAに適用する試みについて述べる。 具体的には、ベクトルからコ-プレシーブへ一般化し、VSA演算を外部テンソル積の右カン拡張として記述する。 この形式化は、そのような場合の正しいカン拡大が単純で要素的な操作として表現できるという証明を含む。 我々は、VSA実装に接続する動作例でフォーマル化を検証するとともに、VSAの新しい設計を提案する。

関連論文リスト

• Fast and Accurate Explanations of Distance-Based Classifiers by Uncovering Latent Explanatory Structures [13.600836585770134]
  距離ベース分類器に隠れたニューラルネットワーク構造を明らかにすることで貢献する。 本稿では,2つの実践事例を通して距離モデルを説明することの全体的な有用性を示す。
  論文  参考訳（メタデータ） (2025-08-05T21:01:58Z)
• A Walsh Hadamard Derived Linear Vector Symbolic Architecture [83.27945465029167]
  シンボリックベクトルアーキテクチャ(VSAs)は、ニューロシンボリックAIを開発するためのアプローチである。 HLBは計算効率が良く、従来のVSAタスクで有効であるように設計されている。
  論文  参考訳（メタデータ） (2024-10-30T03:42:59Z)
• Towards a Categorical Foundation of Deep Learning: A Survey [0.0]
  この論文は、機械学習を分類的に研究しようとする最近の研究をカバーしている。 数学と科学の言語フランスとして働く カテゴリー理論は 機械学習の分野に 統一的な構造を与えるかもしれない
  論文  参考訳（メタデータ） (2024-10-07T13:11:16Z)
• Probabilistic Abduction for Visual Abstract Reasoning via Learning Rules in Vector-symbolic Architectures [22.12114509953737]
  抽象推論は人間の知性の基礎であり、それを人工知能(AI)で複製することは、現在進行中の課題である。 本研究では,抽象的推論能力を評価する視覚的テストであるRaven's Progress matrices (RPM) を効率的に解くことに焦点を当てた。 RPMに関連するルール定式化をハードコーディングする代わりに、トレーニングデータに1回だけ通すだけでVSAルール定式化を学習することができる。
  論文  参考訳（メタデータ） (2024-01-29T10:17:18Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Neural Dependencies Emerging from Learning Massive Categories [94.77992221690742]
  この研究は、大規模画像分類のために学んだニューラルネットワークに関する2つの驚くべき発見を示す。 1) 十分に訓練されたモデルが与えられた場合、いくつかのカテゴリで予測されたロジットは、他のいくつかのカテゴリの予測を線形に組み合わせることで直接得ることができる。 2) 神経依存は1つのモデルに留まらず、2つの独立した学習モデルの間にさえ存在する。
  論文  参考訳（メタデータ） (2022-11-21T09:42:15Z)
• Learning Primitive-aware Discriminative Representations for Few-shot Learning [28.17404445820028]
  少ないショットラーニングは、いくつかのラベル付き例で、新しいクラスを容易に認識できる分類器を学習することを目的としている。 プリミティブ・マイニング・アンド・リ共振ネットワーク(PMRN)を提案し,プリミティブ・アウェアな表現を学習する。 提案手法は,6つの標準ベンチマークの最先端結果を実現する。
  論文  参考訳（メタデータ） (2022-08-20T16:22:22Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Fair Interpretable Representation Learning with Correction Vectors [60.0806628713968]
  我々は「補正ベクトル」の学習を中心にした公正表現学習のための新しい枠組みを提案する。 このような方法で制約されたいくつかの公正表現学習モデルが、ランキングや分類性能の損失を示さないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-02-07T11:19:23Z)
• Learning Algebraic Representation for Systematic Generalization in Abstract Reasoning [109.21780441933164]
  推論における体系的一般化を改善するためのハイブリッドアプローチを提案する。 我々はRaven's Progressive Matrices (RPM) の抽象的空間時間課題に対する代数的表現を用いたプロトタイプを紹介する。 得られた代数的表現は同型によって復号化して解を生成することができることを示す。
  論文  参考訳（メタデータ） (2021-11-25T09:56:30Z)
• HyperSeed: Unsupervised Learning with Vector Symbolic Architectures [5.258404928739212]
  本稿では,Hyperseedという新しい教師なし機械学習手法を提案する。 VSA(Vector Symbolic Architectures)を活用して、問題のないデータのトポロジ保存機能マップを高速に学習する。 ハイパーシードアルゴリズムの2つの特徴的特徴は,1)少数の入力データサンプルから学習すること,2)1つのベクトル演算に基づく学習規則である。
  論文  参考訳（メタデータ） (2021-10-15T20:05:43Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Variable Binding for Sparse Distributed Representations: Theory and Applications [4.150085009901543]
  記号推論とニューラルネットワークは、しばしば互換性のないアプローチとみなされる。ベクトル記号アーキテクチャ(VSAs)として知られるコネクショナリストモデルは、このギャップを埋める可能性がある。 VSAsは密度の高い擬似ランダムベクターでシンボルを符号化し、そこで情報はニューロン全体にわたって分散される。 VSAsにおける高密度ベクトル間の変数結合は、次元性を高める演算であるスパースベクトル間のテンソル積結合と数学的に等価であることを示す。
  論文  参考訳（メタデータ） (2020-09-14T20:40:09Z)
• Gradient-based Competitive Learning: Theory [1.6752712949948443]
  本稿では,勾配に基づく学習と競争的な学習を組み合わせることで,この分野の新たな視点を紹介する。 この理論は、ニューラルネットワークが入力行列の変換を直接研究することで、トポロジカル構造を学習できるという直感に基づいている。 提案手法は、トポロジカル学習タスクの広範な選択に一般化できるため、大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2020-09-06T19:00:51Z)
• Symbiotic Adversarial Learning for Attribute-based Person Search [86.7506832053208]
  本稿では,共生学習の枠組みとして,共生学習の基盤に2つのGANを配置する。 具体的には、2種類の生成的敵ネットワークがトレーニングプロセスを通して協調的に学習する。
  論文  参考訳（メタデータ） (2020-07-19T07:24:45Z)
• Pairwise Supervision Can Provably Elicit a Decision Boundary [84.58020117487898]
  類似性学習は、パターンのペア間の関係を予測することによって有用な表現を引き出す問題である。 類似性学習は、決定境界を直接引き出すことによって二項分類を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-06-11T05:35:16Z)
• Analyzing Knowledge Graph Embedding Methods from a Multi-Embedding Interaction Perspective [3.718476964451589]
  実世界の知識グラフは通常不完全であるため、この問題に対処するために知識グラフ埋め込み法が提案されている。 これらの方法は、実体と関係を意味空間に埋め込まれたベクトルとして表現し、それらの間のリンクを予測する。 四元数代数に基づく新しいマルチエンベディングモデルを提案し、人気のあるベンチマークを用いて有望な結果が得られることを示す。
  論文  参考訳（メタデータ） (2019-03-27T13:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。