論文の概要: Adaptive Log-Euclidean Metrics for SPD Matrix Learning
- arxiv url: http://arxiv.org/abs/2303.15477v5
- Date: Thu, 29 Aug 2024 17:20:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 19:48:14.680778
- Title: Adaptive Log-Euclidean Metrics for SPD Matrix Learning
- Title(参考訳): SPD行列学習のための適応的対数ユークリッド計量
- Authors: Ziheng Chen, Yue Song, Tianyang Xu, Zhiwu Huang, Xiao-Jun Wu, Nicu Sebe,
- Abstract要約: 広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。
実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
- 参考スコア(独自算出の注目度): 73.12655932115881
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Symmetric Positive Definite (SPD) matrices have received wide attention in machine learning due to their intrinsic capacity to encode underlying structural correlation in data. Many successful Riemannian metrics have been proposed to reflect the non-Euclidean geometry of SPD manifolds. However, most existing metric tensors are fixed, which might lead to sub-optimal performance for SPD matrix learning, especially for deep SPD neural networks. To remedy this limitation, we leverage the commonly encountered pullback techniques and propose Adaptive Log-Euclidean Metrics (ALEMs), which extend the widely used Log-Euclidean Metric (LEM). Compared with the previous Riemannian metrics, our metrics contain learnable parameters, which can better adapt to the complex dynamics of Riemannian neural networks with minor extra computations. We also present a complete theoretical analysis to support our ALEMs, including algebraic and Riemannian properties. The experimental and theoretical results demonstrate the merit of the proposed metrics in improving the performance of SPD neural networks. The efficacy of our metrics is further showcased on a set of recently developed Riemannian building blocks, including Riemannian batch normalization, Riemannian Residual blocks, and Riemannian classifiers.
- Abstract(参考訳): 対称正定値行列(SPD)は、データの構造的相関を符号化する固有の能力のため、機械学習において広く注目を集めている。
多くの成功したリーマン計量は、SPD多様体の非ユークリッド幾何学を反映するために提案されている。
しかし、既存の計量テンソルのほとんどは固定されており、特に深いSPDニューラルネットワークにおいて、SPD行列学習の準最適性能をもたらす可能性がある。
この制限を緩和するために、よく遭遇する引き戻し手法を活用し、広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。
従来のリーマン測度と比較すると、我々の測度は学習可能なパラメータを含み、小さな余分な計算を伴うリーマンニューラルネットワークの複雑な力学に適応できる。
また、代数的およびリーマン的性質を含むALEMをサポートするための完全な理論解析も提示する。
実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
このメトリクスの有効性は、リーマン的バッチ正規化、リーマン的残留ブロック、リーマン的分類器を含む、最近開発されたリーマン的構成ブロックの集合でさらに示される。
関連論文リスト
- A Lie Group Approach to Riemannian Batch Normalization [59.48083303101632]
本稿では,リー群における正規化手法の統一的枠組みを確立する。
我々は3つの異なるリー群構造を持つ対称正定性(SPD)に焦点を当てる。
これらのリー群によって誘導される特定の正規化層は、SPDニューラルネットワークに対して提案される。
論文 参考訳(メタデータ) (2024-03-17T16:24:07Z) - Riemannian Self-Attention Mechanism for SPD Networks [34.794770395408335]
本稿では,SPD多様体自己アテンション機構(SMSA)を提案する。
構造化表現の識別を改善するためにSMSAベースの幾何学習モジュール(SMSA-GL)を設計する。
論文 参考訳(メタデータ) (2023-11-28T12:34:46Z) - The Fisher-Rao geometry of CES distributions [50.50897590847961]
Fisher-Rao情報幾何学は、ツールを微分幾何学から活用することができる。
楕円分布の枠組みにおけるこれらの幾何学的ツールの実用的利用について述べる。
論文 参考訳(メタデータ) (2023-10-02T09:23:32Z) - Riemannian Multinomial Logistics Regression for SPD Neural Networks [60.11063972538648]
本稿では,Symmetric Positive Definite (SPD) 行列のための新しいタイプのディープニューラルネットワークを提案する。
我々のフレームワークは、既存のSPDネットワークで最も人気のあるLogEig分類器について、斬新な説明を提供する。
本手法の有効性は,レーダ認識,人行動認識,脳波分類(EEG)の3つの応用で実証された。
論文 参考訳(メタデータ) (2023-05-18T20:12:22Z) - DreamNet: A Deep Riemannian Network based on SPD Manifold Learning for
Visual Classification [36.848148506610364]
SPD行列学習のための新しいアーキテクチャを提案する。
深層表現を豊かにするために、SPDNetをバックボーンとして採用する。
次に、SRAEの表現能力を高めるために、ショートカット接続を持つ残余ブロックをいくつか挿入する。
論文 参考訳(メタデータ) (2022-06-16T07:15:20Z) - Neural Operator with Regularity Structure for Modeling Dynamics Driven
by SPDEs [70.51212431290611]
偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。
本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。
動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
論文 参考訳(メタデータ) (2022-04-13T08:53:41Z) - On Riemannian Optimization over Positive Definite Matrices with the
Bures-Wasserstein Geometry [45.1944007785671]
本稿では,Bres-Wasserstein (BW) 幾何を一般的な Affine-Invariant (AI) 幾何を用いて解析する。
我々は、AIメトリックの二次的依存とは対照的に、BWメトリックがSPD行列に線形依存しているという観測に基づいて構築する。
BW幾何学は非負の曲率を持ち、非正の曲線を持つAI幾何に対するアルゴリズムの収束率をさらに向上させることを示す。
論文 参考訳(メタデータ) (2021-06-01T07:39:19Z) - Learning Log-Determinant Divergences for Positive Definite Matrices [47.61701711840848]
本稿では,データ駆動方式で類似度を学習することを提案する。
スカラーアルファとベータによってパラメトリ化されたメタダイバージェンスであるalphabeta-log-detの発散を利用する。
私たちの重要なアイデアは、これらのパラメータを連続体にキャストし、データから学ぶことです。
論文 参考訳(メタデータ) (2021-04-13T19:09:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。