論文の概要: CliffordNet: All You Need is Geometric Algebra

• arxiv url: http://arxiv.org/abs/2601.06793v1
• Date: Sun, 11 Jan 2026 07:26:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.992356
• Title: CliffordNet: All You Need is Geometric Algebra
• Title（参考訳）: CliffordNet:幾何学的代数は必要なだけ
• Authors: Zhongping Ji,
• Abstract要約: CliffordNetはGeometric Algebraをベースとしたビジョンバックボーンである。 幾何学的相互作用は表現的に密度が高いので、標準フィードフォワードネットワーク(FFN)は冗長になる。
• 参考スコア（独自算出の注目度）: 0.4496256885343706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern computer vision architectures, from CNNs to Transformers, predominantly rely on the stacking of heuristic modules: spatial mixers (Attention/Conv) followed by channel mixers (FFNs). In this work, we challenge this paradigm by returning to mathematical first principles. We propose the \textbf{Clifford Algebra Network (CAN)}, also referred to as CliffordNet, a vision backbone grounded purely in Geometric Algebra. Instead of engineering separate modules for mixing and memory, we derive a unified interaction mechanism based on the \textbf{Clifford Geometric Product} ($uv = u \cdot v + u \wedge v$). This operation ensures algebraic completeness regarding the Geometric Product by simultaneously capturing feature coherence (via the generalized inner product) and structural variation (via the exterior wedge product). Implemented via an efficient sparse rolling mechanism with \textbf{strict linear complexity $\mathcal{O}(N)$}, our model reveals a surprising emergent property: the geometric interaction is so representationally dense that standard Feed-Forward Networks (FFNs) become redundant. Empirically, CliffordNet establishes a new Pareto frontier: our \textbf{Nano} variant achieves \textbf{76.41\%} accuracy on CIFAR-100 with only \textbf{1.4M} parameters, effectively matching the heavy-weight ResNet-18 (11.2M) with \textbf{$8\times$ fewer parameters}, while our \textbf{Base} variant sets a new SOTA for tiny models at \textbf{78.05\%}. Our results suggest that global understanding can emerge solely from rigorous, algebraically complete local interactions, potentially signaling a shift where \textit{geometry is all you need}. Code is available at https://github.com/ParaMind2025/CAN.
• Abstract（参考訳）: CNNからトランスフォーマーまで、現代のコンピュータビジョンアーキテクチャは、主にヒューリスティックモジュールの積み重ねに依存している:空間ミキサー(Attention/Conv)、チャネルミキサー(FFN)。 本研究では,このパラダイムに挑戦し,数学的第一原理に回帰する。 本稿では,Geometric Algebra に純粋に接地した視覚バックボーンである CliffordNet としても知られる \textbf{Clifford Algebra Network (CAN) を提案する。 混合とメモリのための分離されたモジュールをエンジニアリングする代わりに、我々は \textbf{Clifford Geometric Product} (uv = u \cdot v + u \wedge v$) に基づいた統一された相互作用機構を導出する。 この演算は、(一般化内積を介して)特徴コヒーレンスと(外部のくさび積を介して)構造的変動を同時に捉えることにより、幾何学的積に関する代数的完全性を保証する。 我々のモデルは, 効率的なスパース圧延機構によって実装され, 線形複雑性 $\mathcal{O}(N)$} により, 幾何的相互作用は表現的に密度が高く, 標準フィードフォワードネットワーク (FFN) は冗長になる。 我々の \textbf{Nano} 変種は CIFAR-100 上で \textbf{76.41\%} の精度を単に \textbf{1.4M} パラメータで達成し、重い ResNet-18 (11.2M) と \textbf{$8\times$ less parameters} を効果的にマッチングする一方、我々の \textbf{Base} 変種は \textbf{78.05\%} に小さなモデルのための新しい SOTA をセットする。 我々の結果は、大域的理解は厳密で代数的に完備な局所的な相互作用からのみ現れることを示唆し、 \textit{geometry is all you need} というシフトを示唆する可能性があることを示唆している。 コードはhttps://github.com/ParaMind2025/CANで入手できる。

関連論文リスト

• Distributed Online Convex Optimization with Efficient Communication: Improved Algorithm and Lower bounds [27.851263935083736]
  圧縮通信を用いた分散オンライン凸最適化について検討する。 本稿では,凸関数と強凸関数に対して,$tildeO(-1/2-1nsqrtT)$と$tildeO(-1-2nlnT)$の改善された後悔境界を実現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-01-08T13:05:36Z)
• FedAdamW: A Communication-Efficient Optimizer with Convergence and Generalization Guarantees for Federated Large Models [27.658955798426323]
  AdamWは、大規模なモデルをトレーニングするための最も効果的な一般化の1つになった。 我々は、様々な大規模モデルのトレーニングと微調整を行うために、textttFedAdamWと呼ばれる最初のアンダーラインAdamWアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-10-31T14:04:43Z)
• Barycentric Neural Networks and Length-Weighted Persistent Entropy Loss: A Green Geometric and Topological Framework for Function Approximation [0.0]
  BNN(Barycentric Neural Network)は,構造とパラメータを固定されたベースポイントと関連するバリ中心座標によってエンコードする,コンパクトな浅層アーキテクチャである。 我々は,BNNが連続的部分的線形関数(CPLF)の正確な表現を可能にし,セグメント間の厳密な連続性を保証することを示す。 提案手法は,内部パラメータではなく,BNNを定義するベースポイントを最適化するために,LWPEに基づく損失関数とBNNを統合している。
  論文  参考訳（メタデータ） (2025-09-08T13:47:21Z)
• Displacement-Sparse Neural Optimal Transport [6.968698312185846]
  最適輸送(OT)は、コスト関数を最小化しながら、ある確率測度から別の確率測度へ質量を輸送するマップ$T$を見つけることを目的としている。 ニューラルOTソルバは、薬物摂動などの高次元生物学的応用で人気を博している。 直感的で理論的に基礎を成す手法として,ニューラルOTソルバ内におけるエンファスメント・スパースマップの学習手法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T23:44:17Z)
• Two-Timescale Gradient Descent Ascent Algorithms for Nonconvex Minimax Optimization [77.3396841985172]
  我々は、構造化された非極小最適化問題の解法として、2時間勾配上昇(TTGDA)を統一的に解析する。 我々の貢献はTTGDAアルゴリズムを設計することであり、設定を超えて効果的です。
  論文  参考訳（メタデータ） (2024-08-21T20:14:54Z)
• Vision Transformer with Sparse Scan Prior [24.78780746169092]
  textbfSparse textbfScan textbfSelf-textbfAttention mechanism(rmS3rmA$)を提案する。 このメカニズムはトークンごとに一連のAnchor of Interestをプリ定義し、局所的な注意を使ってこれらのアンカー周辺の空間情報を効率的にモデル化する。 rmS3rmA$で構築すると、 textbfSparse textbfScan textbfVisionを導入します。
  論文  参考訳（メタデータ） (2024-05-22T04:34:36Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• Distributed Saddle-Point Problems Under Similarity [173.19083235638104]
  与えられたサブ最適度$epsilon0$は、$Omegabigのマスター/ワーカーネットワークで達成されることを示す。 次に,ネットワークの下位の型(ログオーバまで)に適合するアルゴリズムを提案する。 頑健なロジスティック回帰問題に対して提案アルゴリズムの有効性を評価する。
  論文  参考訳（メタデータ） (2021-07-22T14:25:16Z)
• Model Selection with Near Optimal Rates for Reinforcement Learning with General Model Classes [27.361399036211694]
  有限地平線エピソディック強化学習(RL)問題に対するモデル選択の問題に対処する。 モデル選択フレームワークでは、$mathcalP*$の代わりに、遷移カーネルのネストされたファミリーが$M$を与えられる。 textttARL-GENが$TildemathcalO(d_mathcalE* H2+sqrtd_mathcalE* mathbbM* H2T)$の後悔を得ることを示す。
  論文  参考訳（メタデータ） (2021-07-13T05:00:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。