論文の概要: Recursive Binding on a Budget: Subspace Carving in Order-p Tensor Memories
- arxiv url: http://arxiv.org/abs/2606.11391v1
- Date: Tue, 09 Jun 2026 19:16:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.157158
- Title: Recursive Binding on a Budget: Subspace Carving in Order-p Tensor Memories
- Title(参考訳): 予算上の再帰的結合:秩序pテンソル記憶における部分空間彫刻
- Authors: Travis Pence, Daisuke Yamada, Vikas Singh,
- Abstract要約: 本稿では,役割基底のヌル空間に投影することで,役割にフィラーをバインドするメモリアーキテクチャを提案する。
また、TPRはクリフォード代数の結合の特別な場合であり、クリフォードのOSCの定式化を与える。
- 参考スコア(独自算出の注目度): 18.08120133270512
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tensor Product Representations provide the structural fidelity required for symbolic reasoning in models but suffer from exponential dimensionality growth when encoding deep recursive structures. Conversely, Vector Symbolic Architectures maintain constant dimensionality but sacrifice capacity and fidelity due to noisy compression via superposition. In this work, we propose Orthogonal Subspace Carving (OSC), a memory architecture that binds fillers to roles by projecting onto the null space of the role basis before aggregating into a fixed order-p tensor. OSC uses projections to enforce geometric orthogonality between bound structures within a static memory trace. We show that this mechanism decouples the tensor order from the structural depth, enabling deep recursive binding within a constant memory footprint. By performing retrieval via recognition, this construction allows for component vectors that are orders of magnitude smaller than the memory tensor, giving superior memory efficiency in settings involving high superposition. We also show that TPR is a special case of binding in Clifford algebra, and give a Clifford formulation of OSC.
- Abstract(参考訳): テンソル積表現(Tensor Product Representations)は、モデルにおけるシンボリック推論に必要な構造的忠実さを提供するが、深い再帰的構造を符号化する際に指数的次元成長に苦しむ。
逆にベクトル記号アーキテクチャは、重畳によるノイズ圧縮により、一定の次元性を維持するが、キャパシティと忠実さを犠牲にする。
本研究で提案するOrthogonal Subspace Carving(OSC)は,固定順序-pテンソルにアグリゲートする前に,ロール基底のヌル空間に投影することで,フィラーをロールにバインドするメモリアーキテクチャである。
OSCはプロジェクションを使用して静的メモリトレース内の境界構造間の幾何直交を強制する。
この機構は, 構造深度からテンソルオーダーを分離し, 一定のメモリフットプリント内での深い再帰結合を可能にする。
この構造は、認識による検索を行うことで、メモリテンソルよりも桁違いに小さいコンポーネントベクトルを可能にし、高い重畳を含む設定において優れたメモリ効率を実現する。
また、TPRはクリフォード代数の結合の特別な場合であり、クリフォードのOSCの定式化を与える。
関連論文リスト
- EinSort: Sorting is All We Need for Tensorizing LLM [20.603753314256704]
本稿では,ターゲットテンソルに固有の低ランク構造をインデックス順序で検出する適応的テンソル化手法を提案する。
重量, KV-cache圧縮実験では, ベースラインに比べて再現性が改善された。
論文 参考訳(メタデータ) (2026-06-07T10:43:30Z) - Beyond LLMs, Sparse Distributed Memory, and Neuromorphics <A Hyper-Dimensional SRAM-CAM "VaCoAl" for Ultra-High Speed, Ultra-Low Power, and Low Cost> [18.56157183294801]
超高次元RAM/DRAM-CAM上の超高次元二元空間上でのVaCoAlを提案する。
認知的境界 -- フロンティアサイズ -- をアーキテクチャに組み込み、パス積分的信頼度で候補をランク付けする。
ウィキデータから約470万のメンター-学生関係についてマルチホップ推論を評価し,57世代まで追跡した。
論文 参考訳(メタデータ) (2026-04-13T16:13:17Z) - StructKV: Preserving the Structural Skeleton for Scalable Long-Context Inference [38.75965915663233]
構造対応のKVキャッシュ圧縮フレームワークであるStructKVを提案する。
まず、Global In-Degree Centralityは、ネットワーク奥行きの注意パターンを集約し、グローバルな情報ハブを特定する。
第二に、Dynamic Pivot Detectionは情報理論のメトリクスを使って、圧縮のための最適な層を適応的に見つける。
論文 参考訳(メタデータ) (2026-04-08T07:10:35Z) - RiboSphere: Learning Unified and Efficient Representations of RNA Structures [57.40815107640066]
RNAのバックボーンは非常に柔軟で、非カノニカル相互作用が一般的であり、実験的に決定された3D構造は比較的少ない。
本稿では,ベクトル量子化とフローマッチングを組み合わせることで,RNAの固有な幾何学的表現を学習するフレームワークであるemphRiboSphereを紹介する。
論文 参考訳(メタデータ) (2026-03-20T04:36:35Z) - Triangle Multiplication Is All You Need For Biomolecular Structure Representations [56.26342479807906]
Pairmixerは三角形の注意をなくし、高階の幾何学的推論能力を保っている。
Pairmixerは計算効率を大幅に改善し、折りたたみおよびドッキングベンチマーク間の最先端構造予測器をマッチングする。
例えば、BoltzDesign内では、Pairmixerは2倍以上高速なサンプリングと、Pairformerのメモリ限界よりも30%長いシーケンスへのスケールを提供する。
論文 参考訳(メタデータ) (2025-10-21T17:59:02Z) - What is Intelligence? A Cycle Closure Perspective [6.0044467881527614]
我々は、トポロジカル閉包法に根ざした構造力学的説明について論じる。
textbfMemory-Amortized Inference (MAI) はSbS,$rightarrow$,CCUPを実装する計算機構であることを示す。
論文 参考訳(メタデータ) (2024-04-08T13:06:23Z) - Temporally-Consistent Surface Reconstruction using Metrically-Consistent
Atlases [131.50372468579067]
そこで本稿では,時間変化点雲列から時間一貫性のある面列を復元する手法を提案する。
我々は、再構成された表面をニューラルネットワークによって計算されたアトラスとして表現し、フレーム間の対応性を確立することができる。
当社のアプローチは、いくつかの挑戦的なデータセットにおいて、最先端のものよりも優れています。
論文 参考訳(メタデータ) (2021-11-12T17:48:25Z) - Tensor Representations for Action Recognition [54.710267354274194]
シーケンスにおける人間の行動は、空間的特徴とその時間的ダイナミクスの複雑な相互作用によって特徴づけられる。
アクション認識タスクの視覚的特徴間の高次関係を捉えるための新しいテンソル表現を提案する。
我々は,高次テンソルといわゆる固有値パワー正規化(NEP)を用いて,高次事象のスペクトル検出を行う。
論文 参考訳(メタデータ) (2020-12-28T17:27:18Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳(メタデータ) (2020-09-08T13:10:21Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳(メタデータ) (2020-01-27T22:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。