論文の概要: Riemannian Multinomial Logistics Regression for SPD Neural Networks
- arxiv url: http://arxiv.org/abs/2305.11288v2
- Date: Wed, 20 Mar 2024 15:10:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 23:07:03.705786
- Title: Riemannian Multinomial Logistics Regression for SPD Neural Networks
- Title(参考訳): SPDニューラルネットワークに対するリーマン多項ロジスティックス回帰
- Authors: Ziheng Chen, Yue Song, Gaowen Liu, Ramana Rao Kompella, Xiaojun Wu, Nicu Sebe,
- Abstract要約: 本稿では,Symmetric Positive Definite (SPD) 行列のための新しいタイプのディープニューラルネットワークを提案する。
我々のフレームワークは、既存のSPDネットワークで最も人気のあるLogEig分類器について、斬新な説明を提供する。
本手法の有効性は,レーダ認識,人行動認識,脳波分類(EEG)の3つの応用で実証された。
- 参考スコア(独自算出の注目度): 60.11063972538648
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep neural networks for learning Symmetric Positive Definite (SPD) matrices are gaining increasing attention in machine learning. Despite the significant progress, most existing SPD networks use traditional Euclidean classifiers on an approximated space rather than intrinsic classifiers that accurately capture the geometry of SPD manifolds. Inspired by Hyperbolic Neural Networks (HNNs), we propose Riemannian Multinomial Logistics Regression (RMLR) for the classification layers in SPD networks. We introduce a unified framework for building Riemannian classifiers under the metrics pulled back from the Euclidean space, and showcase our framework under the parameterized Log-Euclidean Metric (LEM) and Log-Cholesky Metric (LCM). Besides, our framework offers a novel intrinsic explanation for the most popular LogEig classifier in existing SPD networks. The effectiveness of our method is demonstrated in three applications: radar recognition, human action recognition, and electroencephalography (EEG) classification. The code is available at https://github.com/GitZH-Chen/SPDMLR.git.
- Abstract(参考訳): Symmetric Positive Definite (SPD)行列を学習するためのディープニューラルネットワークは、機械学習において注目を集めている。
かなりの進歩にもかかわらず、既存のSPDネットワークのほとんどは、SPD多様体の幾何を正確に捉える固有の分類器ではなく、近似空間上の伝統的なユークリッド分類器を使用している。
ハイパボリックニューラルネットワーク(HNN)に着想を得て,SPDネットワークの分類層に対して,Riemannian Multinomial Logistics Regression (RMLR)を提案する。
我々は、ユークリッド空間から引き戻されたメトリクスに基づいてリーマン分類器を構築するための統一的なフレームワークを導入し、パラメータ化されたLog-Euclidean Metric (LEM) とLog-Cholesky Metric (LCM)の下で我々のフレームワークを紹介した。
さらに,本フレームワークは既存のSPDネットワークにおけるLogEig分類器の斬新な説明を提供する。
本手法の有効性は,レーダ認識,人行動認識,脳波分類(EEG)の3つの応用で実証された。
コードはhttps://github.com/GitZH-Chen/SPDMLR.gitで公開されている。
関連論文リスト
- A Lie Group Approach to Riemannian Batch Normalization [59.48083303101632]
本稿では,リー群における正規化手法の統一的枠組みを確立する。
我々は3つの異なるリー群構造を持つ対称正定性(SPD)に焦点を当てる。
これらのリー群によって誘導される特定の正規化層は、SPDニューラルネットワークに対して提案される。
論文 参考訳(メタデータ) (2024-03-17T16:24:07Z) - Riemannian Self-Attention Mechanism for SPD Networks [34.794770395408335]
本稿では,SPD多様体自己アテンション機構(SMSA)を提案する。
構造化表現の識別を改善するためにSMSAベースの幾何学習モジュール(SMSA-GL)を設計する。
論文 参考訳(メタデータ) (2023-11-28T12:34:46Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - Adaptive Riemannian Metrics on SPD Manifolds [67.48576298756996]
対称正定値行列(SPD)は、データの構造的相関を符号化する本質的な能力のため、機械学習において広く注目を集めている。
既存の固定計量テンソルは、SPD行列学習、特にSPDニューラルネットワークの準最適性能をもたらす可能性がある。
論文 参考訳(メタデータ) (2023-03-26T18:31:52Z) - A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。
そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。
SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文 参考訳(メタデータ) (2023-03-06T14:31:09Z) - DreamNet: A Deep Riemannian Network based on SPD Manifold Learning for
Visual Classification [36.848148506610364]
SPD行列学習のための新しいアーキテクチャを提案する。
深層表現を豊かにするために、SPDNetをバックボーンとして採用する。
次に、SRAEの表現能力を高めるために、ショートカット接続を持つ残余ブロックをいくつか挿入する。
論文 参考訳(メタデータ) (2022-06-16T07:15:20Z) - Tensor-CSPNet: A Novel Geometric Deep Learning Framework for Motor
Imagery Classification [14.95694356964053]
対称正定値(SPD)上での脳波信号を特徴付ける幾何学的深層学習フレームワークCSPNetを提案する。
CSPNetは、2つのMI-EEGデータセットのクロスバリデーションとホールドアウトシナリオにおいて、現在の最先端のパフォーマンスを達成またはわずかに上回る。
論文 参考訳(メタデータ) (2022-02-05T02:52:23Z) - Riemannian Local Mechanism for SPD Neural Networks [43.789561494266316]
我々は,SPDネットワークにおける局所的幾何情報の保存を確実にすることが最重要であると論じている。
まず、ユークリッドの深層ネットワークにおけるローカル情報を取得するためによく使われる畳み込み演算子を分析した。
この分析に基づいて、SPD多様体の局所情報を定義し、局所幾何学をマイニングするためのマルチスケールサブマニフォールドブロックを設計する。
論文 参考訳(メタデータ) (2022-01-25T07:39:25Z) - Neural Architecture Search of SPD Manifold Networks [79.45110063435617]
本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。
まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。
我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
論文 参考訳(メタデータ) (2020-10-27T18:08:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。