論文の概要: Subspace Clifford Networks
- arxiv url: http://arxiv.org/abs/2610.37226v1
- Date: Tue, 27 Oct 2026 13:37:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.641854
- Title: Subspace Clifford Networks
- Title(参考訳): Subspace Clifford Networks
- Abstract要約: D$次元チャネル空間全体にわたって巡回対角線をサンプリングする代わりに、これらの特徴を整列空間に投影する。
我々は、すべての$binomk2$wedge座標を計算し、$operatornameSiLU$-activated coordinate-wise productでそれらを計算する。
CIFAR-100の実験では、提案したモデルによってパラメータ数とトレーニング時間を大幅に短縮することが示された。
- 参考スコア(独自算出の注目度): 0.4496256885343706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose Subspace Clifford Networks, a reformulation that replaces global cyclic rolling with grouped subspace interactions. Instead of sampling sparse cyclic diagonals across the entire $D$-dimensional channel space, we project the features into an aligned space $\R^{\tilde{D}} = \bigoplus_{g=1}^{G} V_g$ partitioned into $G$ low-dimensional groups $V_g \cong \R^k$ with $k \in \{2, 3, 4\}$. Within each $k$-dimensional group, we compute all $\binom{k}{2}$ wedge coordinates and concatenate them with $\operatorname{SiLU}$-activated coordinate-wise products, while sandwiching the grouped interaction between learnable $1\times 1$ linear projections to enable cross-group channel mixing. This design reduces intermediate feature expansion from $2|\mathcal{S}|D$ (typically $10D$ for 5 shifts) down to $1.5\tilde{D}$ ($k=2$), $2.0\tilde{D}$ ($k=3$), or $2.5\tilde{D}$ ($k=4$). Furthermore, exploiting the small, fixed group size $k \in \{2, 3, 4\}$, we implement a fused CUDA kernel that evaluates the forward interaction and a recomputation-based analytical backward pass using thread-local variables without allocating global-memory buffers for elementwise intermediates. Finally, we extend the backbone from an isotropic columnar layout to a multi-resolution Hierarchical Clifford Network with configurable per-stage subspace dimensions. Experiments on CIFAR-100 show that the proposed models substantially reduce parameter count and training time across both regimes, while the hierarchical variants also improve classification accuracy over the evaluated shift-based hierarchical baselines.
- Abstract(参考訳): 本研究では,大域的環状転がりをグループ化された部分空間相互作用に置き換える改良であるSubspace Clifford Networksを提案する。
D$-次元チャネル空間全体にわたってスパース巡回対角線をサンプリングする代わりに、これらの特徴を整列空間 $\R^{\tilde{D}} = \bigoplus_{g=1}^{G} V_g$ に射影し、$G$ 低次元群 $V_g \cong \R^k$ with $k \in \{2, 3, 4\}$ に分割する。
各$k$次元群の中で、すべての$\binom{k}{2}$ウェッジ座標を計算し、それらを $\operatorname{SiLU}$-activated coordinate-wise product と結合し、学習可能な $1\times 1$ linear projection 間の群的相互作用をサンドイッチして、クロスグループチャネルの混合を可能にする。
この設計により、2|\mathcal{S}|D$(典型的には5シフトの10D$)から1.5\tilde{D}$$$k=2$、$2.0\tilde{D}$$$k=3$、$2.5\tilde{D}$$$$k=4$へと拡張される。
さらに、小さな固定グループサイズである$k \in \{2, 3, 4\}$を利用して、要素の中間にグローバルメモリバッファを割り当てることなく、スレッドローカル変数を用いて前方相互作用と再計算に基づく解析逆パスを評価する、融合CUDAカーネルを実装した。
最後に, バックボーンを等方性柱状配置から階層型クリフォードネットワークへ拡張し, ステージごとのサブ空間次元を設定可能とした。
CIFAR-100の実験では、提案したモデルが両政権間でパラメータカウントとトレーニング時間を著しく短縮する一方、階層的変異は、評価されたシフトベースの階層的ベースラインよりも分類精度を向上させる。
関連論文リスト
- Phase Transition from Random Features to Fully Trainable Networks [17.106223672752105]
部分的にトレーニング可能なニューラルネットワークは、ランダムな特徴と完全な適応表現をブリッジする。
本稿では,近似境界における位相遷移パターンの定量化と,学習誤差における類似性について述べる。
最大15層までのネットワークを含む、さまざまな設定にわたる数値実験は、トレーニングエラーで同様の位相遷移を示す。
論文 参考訳(メタデータ) (2026-10-22T17:59:29Z) - Geometry-Dependent Approximation for Non-Monotone $k$-Submodular Maximization [55.29259818039367]
支持領域がより均一な選択を許すにつれて、認証された近似係数がどのように改善されるかを示す。
明示的なパラメータの選択は、非遅延認証プロファイルに$underline_k()$を与える。
値保持丸めは、これらの保証をマトロイドとクナプサックの制約に転送する。
論文 参考訳(メタデータ) (2026-10-02T20:52:38Z) - Kolmogorov-Arnold Classifier Systems as Universal Approximators [4.100550356612]
Learning Systemsのようなルールベースの機械学習は、関数近似の基本的なスケーラビリティのボトルネックに直面している。
従来のLCSは$n次元の入力空間を直接分割し、適切なカバレッジを得るために$mathcalO(mn)$ルールを必要とする。
この記事では、コルモゴロフ$表現定理によって導かれる規則を次元的に再編成することで、このパラダイムから脱却する。
我々は LCS,すなわち KACS がコンパクト領域上の連続函数の普遍近似であることを示す最初の構成的証明を提供する。
論文 参考訳(メタデータ) (2026-09-29T16:30:32Z) - Shallow ReLU$^s$ Networks in $L^p$-Type and Sobolev Spaces: Approximation and Path-Norm Controlled Generalization [12.871748162999062]
特に、$_d$が均一測度で$1le p2$のとき、近似率は$O!left(m-fracp(2s+2d+1)-2d2dpright)$ for $1le p*$と$O!left(m-fracp(4s+3d-1)-2d+24dpright)$ for $p*p2$である。
non (複数形 nons)
論文 参考訳(メタデータ) (2026-05-18T14:27:49Z) - Rényi exponent landscape of multipartite entanglement in free-fermion systems [51.56484100374058]
我々は、Rényi tripartite information $I_3() が小フェルミ運動量での質的に $exclusion-dependent scaling を示すことを示した。
I_m(n)/I_m(1) sim zm-1 to 0$ for all integer $n geq 2$, so the leading von Neumann signal can builded from integer Rényi data。
論文 参考訳(メタデータ) (2026-03-09T22:27:00Z) - Group Representational Position Encoding [66.33026480082025]
グループ行動に基づく位置符号化のための統一的なフレームワークであるGRAPEを提案する。
i)乗法回転 (Multiplicative GRAPE) in $mathrmSO(d)$ と (ii)加法ロジットバイアス (Additive GRAPE) は一般線型群 $mathrmGL$ における一等作用から生じる。
論文 参考訳(メタデータ) (2025-12-08T18:39:13Z) - Clustering Propagation for Universal Medical Image Segmentation [63.431147442243855]
医用画像のセグメンテーションのための卓越したソリューションは、通常、自動的またはインタラクティブな設定のために調整される。
クラスタリングベースのセグメンテーション技術にインスパイアされたS2VNetは、データのスライスワイズ構造をフル活用する。
S2VNetは、一般的な3Dソリューションに比べて高速な推論速度とメモリ消費の削減により、自分自身を区別する。
論文 参考訳(メタデータ) (2024-03-25T11:32:05Z) - Near-Linear Time and Fixed-Parameter Tractable Algorithms for Tensor
Decompositions [51.19236668224547]
テンソルの低階近似について検討し,テンソルトレインとタッカー分解に着目した。
テンソル列車の分解には、小さなビクリテリアランクを持つビクリテリア$(1 + eps)$-approximationアルゴリズムと、O(q cdot nnz(A))$ランニングタイムを与える。
さらに、任意のグラフを持つテンソルネットワークにアルゴリズムを拡張します。
論文 参考訳(メタデータ) (2022-07-15T11:55:09Z) - Deep Learning Meets Projective Clustering [66.726500395069]
NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。
計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
論文 参考訳(メタデータ) (2020-10-08T22:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。