論文の概要: A Unified SPD Token Transformer Framework for EEG Classification: Systematic Comparison of Geometric Embeddings
- arxiv url: http://arxiv.org/abs/2601.21521v1
- Date: Thu, 29 Jan 2026 10:35:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.737361
- Title: A Unified SPD Token Transformer Framework for EEG Classification: Systematic Comparison of Geometric Embeddings
- Title(参考訳): 脳波分類のための統一SPDトークン変換フレームワーク:幾何学的埋め込みの体系的比較
- Authors: Chi-Sheng Chen, En-Jui Kuo, Guan-Ying Chen, Xinyu Zhang, Fan Zhang,
- Abstract要約: SPD多様体に対する埋め込み選択を勾配条件にリンクする形式解析と数値安定性を提供する。
我々はこれらの予測を,BWSPD,Log-Euclidean,Euclideanを3つのEEGパラダイム上で1500以上の実行で同一アーキテクチャ内で比較する統合トランスフォーマーフレームワークを用いて検証する。
- 参考スコア(独自算出の注目度): 15.087284029364406
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatial covariance matrices of EEG signals are Symmetric Positive Definite (SPD) and lie on a Riemannian manifold, yet the theoretical connection between embedding geometry and optimization dynamics remains unexplored. We provide a formal analysis linking embedding choice to gradient conditioning and numerical stability for SPD manifolds, establishing three theoretical results: (1) BWSPD's $\sqrtκ$ gradient conditioning (vs $κ$ for Log-Euclidean) via Daleckii-Kreĭn matrices provides better gradient conditioning on high-dimensional inputs ($d \geq 22$), with this advantage reducing on low-dimensional inputs ($d \leq 8$) where eigendecomposition overhead dominates; (2) Embedding-Space Batch Normalization (BN-Embed) approximates Riemannian normalization up to $O(\varepsilon^2)$ error, yielding $+26\%$ accuracy on 56-channel ERP data but negligible effect on 8-channel SSVEP data, matching the channel-count-dependent prediction; (3) bi-Lipschitz bounds prove BWSPD tokens preserve manifold distances with distortion governed solely by the condition ratio $κ$. We validate these predictions via a unified Transformer framework comparing BWSPD, Log-Euclidean, and Euclidean embeddings within identical architecture across 1,500+ runs on three EEG paradigms (motor imagery, ERP, SSVEP; 36 subjects). Our Log-Euclidean Transformer achieves state-of-the-art performance on all datasets, substantially outperforming classical Riemannian classifiers and recent SPD baselines, while BWSPD offers competitive accuracy with similar training time.
- Abstract(参考訳): 脳波信号の空間的共分散行列は対称正定値(SPD)であり、リーマン多様体上に位置するが、埋め込み幾何学と最適化力学の間の理論的関係はいまだ解明されていない。
1) BWSPD's $\sqrtκ$ gradient conditioning (vs $κ$ for Log-Euclidean) via Daleckii-Kre.n matrices provides better gradient conditioning on high-dimensional inputs ($d \geq 22$) この利点は、固有分解オーバヘッドが支配する低次元インプット(d \leq 8$)の削減である。
我々はこれらの予測を,BWSPD,Log-Euclidean,Euclideanの3つのEEGパラダイム(モダイメージ,ERP,SSVEP,36項目)上で1500以上の同一アーキテクチャ内への埋め込みを比較した統合トランスフォーマーフレームワークを用いて検証した。
我々のLog-Euclidean Transformerはすべてのデータセットで最先端のパフォーマンスを実現し、古典的リーマン分類器と最近のSPDベースラインを大幅に上回り、BWSPDは同様のトレーニング時間と競合する精度を提供する。
関連論文リスト
- Scaling Bidirectional Spans and Span Violations in Attention Mechanism [5.755498052202004]
canonical $O(N2)$ Transformerは、シーケンスモデリングにおける経験的なパフォーマンスフロンティアのままである。
本研究では,非対称なプロジェクションを利用して後方方向の勾配を並列スパンに分解する最適化フレームワークを提案する。
我々はこれらのコンポーネントを選択的にスケーリングし、主に0分の1の双方向並列スパンにフォーカスすることで、最も効果的な学習信号が得られることを示した。
論文 参考訳(メタデータ) (2025-12-15T07:03:24Z) - Exploiting Function-Family Structure in Analog Circuit Optimization [22.334314861424943]
オフザシェルフのガウス過程のサロゲートは、これらのシステミックスイッチングプリミティブと不一致の、全世界的にスムーズで定常的な優先順位を課す。
これらのプリミティブを符号化した事前学習モデルでは、回路単位のエンジニアリングを使わずに信頼性の高い最適化が可能であることを実証する。
論文 参考訳(メタデータ) (2025-11-30T03:21:13Z) - Constructive Lyapunov Functions via Topology-Preserving Neural Networks [0.0]
ONNは収束率、エッジ効率、計算複雑性の順序-最適性能を達成する。
3Mノードのセマンティックネットワークにおける実証的な検証は、ベースライン法よりも99.75%改善されている。
ORTSFをトランスに組み込むことで、14.7%のパープレキシティ低減と2.3の高速化を実現している。
論文 参考訳(メタデータ) (2025-10-10T17:46:52Z) - Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳(メタデータ) (2024-05-02T03:48:47Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳(メタデータ) (2023-08-31T17:57:50Z) - Riemannian Multinomial Logistics Regression for SPD Neural Networks [60.11063972538648]
本稿では,Symmetric Positive Definite (SPD) 行列のための新しいタイプのディープニューラルネットワークを提案する。
我々のフレームワークは、既存のSPDネットワークで最も人気のあるLogEig分類器について、斬新な説明を提供する。
本手法の有効性は,レーダ認識,人行動認識,脳波分類(EEG)の3つの応用で実証された。
論文 参考訳(メタデータ) (2023-05-18T20:12:22Z) - Deep Optimal Transport for Domain Adaptation on SPD Manifolds [9.552869120136005]
最適輸送理論とSPD多様体の幾何学を組み合わせた新しい幾何学的深層学習フレームワークを提案する。
提案手法は, 多様体構造を尊重しながらデータ分布を整列させ, 限界差と条件差を効果的に低減する。
提案手法は,KU,BNCI2014001,BNCI2015001の3つのクロスセッション脳コンピュータインタフェースデータセットに対して検証を行った。
論文 参考訳(メタデータ) (2022-01-15T03:13:02Z) - Canny-VO: Visual Odometry with RGB-D Cameras based on Geometric 3D-2D
Edge Alignment [85.32080531133799]
本稿では,自由形式の曲線登録に関する古典的な問題をレビューし,効率的なrgbdビジュアルオドメトリシステムcanny-voに適用する。
エッジ登録でよく用いられる距離変換の代替として、近似近接近傍場と配向近接近傍場という2つの方法が提案されている。
3D2Dエッジアライメントは、効率性と精度の両方の観点から、これらの代替製剤の恩恵を受けます。
論文 参考訳(メタデータ) (2020-12-15T11:42:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。