論文の概要: Riemannian Self-Attention Mechanism for SPD Networks
- arxiv url: http://arxiv.org/abs/2311.16738v1
- Date: Tue, 28 Nov 2023 12:34:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 18:31:32.897001
- Title: Riemannian Self-Attention Mechanism for SPD Networks
- Title(参考訳): SPDネットワークにおけるリーマン自己注意機構
- Authors: Rui Wang, Xiao-Jun Wu, Hui Li, Josef Kittler
- Abstract要約: 本稿では,SPD多様体自己アテンション機構(SMSA)を提案する。
構造化表現の識別を改善するためにSMSAベースの幾何学習モジュール(SMSA-GL)を設計する。
- 参考スコア(独自算出の注目度): 34.794770395408335
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Symmetric positive definite (SPD) matrix has been demonstrated to be an
effective feature descriptor in many scientific areas, as it can encode
spatiotemporal statistics of the data adequately on a curved Riemannian
manifold, i.e., SPD manifold. Although there are many different ways to design
network architectures for SPD matrix nonlinear learning, very few solutions
explicitly mine the geometrical dependencies of features at different layers.
Motivated by the great success of self-attention mechanism in capturing
long-range relationships, an SPD manifold self-attention mechanism (SMSA) is
proposed in this paper using some manifold-valued geometric operations, mainly
the Riemannian metric, Riemannian mean, and Riemannian optimization. Then, an
SMSA-based geometric learning module (SMSA-GLM) is designed for the sake of
improving the discrimination of the generated deep structured representations.
Extensive experimental results achieved on three benchmarking datasets show
that our modification against the baseline network further alleviates the
information degradation problem and leads to improved accuracy.
- Abstract(参考訳): 対称正定値行列(SPD)は、曲線付きリーマン多様体、すなわちSPD多様体上のデータの時空間統計を適切に符号化できるため、多くの科学領域において効果的な特徴記述子であることが示されている。
SPD行列非線形学習のためのネットワークアーキテクチャを設計するには多くの異なる方法があるが、異なる層における特徴の幾何学的依存関係を明示的に抽出するソリューションはほとんどない。
本稿では,spd多様体自己着付け機構 (smsa) をリーマン計量, リーマン平均, リーマン最適化などの多様体値幾何演算を用いて提案する。
そして、生成された深層構造表現の識別を改善するため、SMSAベースの幾何学習モジュール(SMSA-GLM)を設計する。
3つのベンチマークデータセットで得られた広範囲な実験結果は、ベースラインネットワークに対する修正が情報劣化問題をさらに軽減し、精度の向上につながることを示している。
関連論文リスト
- Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference [50.91823345296243]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳(メタデータ) (2023-12-10T15:22:30Z) - Slow Invariant Manifolds of Singularly Perturbed Systems via
Physics-Informed Machine Learning [0.0]
特異摂動系の遅い不変多様体(SIM)を近似するための物理インフォームド・機械学習(PIML)手法を提案する。
提案手法では,従来のGSPT法よりも精度の高い近似法が提案されている。
また、学習過程において必要となる微分の記号的、自動的、数値的近似の計算コストの比較を行う。
論文 参考訳(メタデータ) (2023-09-14T14:10:22Z) - Riemannian Multiclass Logistics Regression for SPD Neural Networks [54.418735373762004]
対称正定値行列(SPD)を学習するためのディープニューラルネットワークは、機械学習において注目を集めている。
既存のSPDネットワークの多くは、固有分類器ではなく、近似空間上の伝統的なユークリッド分類器を使用している。
双曲型ニューラルネットワーク(HNN)の成功に触発されて,SPDネットワークのためのリーマン型マルチクラスロジスティクスレグレッション(RMLR)を提案する。
論文 参考訳(メタデータ) (2023-05-18T20:12:22Z) - Adaptive Riemannian Metrics on SPD Manifolds [67.48576298756996]
対称正定値行列(SPD)は、データの構造的相関を符号化する本質的な能力のため、機械学習において広く注目を集めている。
既存の固定計量テンソルは、SPD行列学習、特にSPDニューラルネットワークの準最適性能をもたらす可能性がある。
論文 参考訳(メタデータ) (2023-03-26T18:31:52Z) - A Survey of Geometric Optimization for Deep Learning: From Euclidean
Space to Riemannian Manifold [7.737713458418288]
ディープラーニング(DL)は複雑な人工知能(AI)タスクで成功したが、様々な悪名高い問題に悩まされている。
本稿では、DLにおける幾何最適化の適用に関する総合的な調査について述べる。
畳み込みニューラルネットワーク、リカレントニューラルネットワーク、トランスファー学習、最適輸送など、さまざまなAIタスクにおける異なるDLネットワークにおける幾何学的最適化の適用について検討する。
論文 参考訳(メタデータ) (2023-02-16T10:50:15Z) - Exploiting Temporal Structures of Cyclostationary Signals for
Data-Driven Single-Channel Source Separation [98.95383921866096]
単一チャネルソース分離(SCSS)の問題点について検討する。
我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。
本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
論文 参考訳(メタデータ) (2022-08-22T14:04:56Z) - DreamNet: A Deep Riemannian Network based on SPD Manifold Learning for
Visual Classification [36.848148506610364]
SPD行列学習のための新しいアーキテクチャを提案する。
深層表現を豊かにするために、SPDNetをバックボーンとして採用する。
次に、SRAEの表現能力を高めるために、ショートカット接続を持つ残余ブロックをいくつか挿入する。
論文 参考訳(メタデータ) (2022-06-16T07:15:20Z) - Riemannian Local Mechanism for SPD Neural Networks [43.789561494266316]
我々は,SPDネットワークにおける局所的幾何情報の保存を確実にすることが最重要であると論じている。
まず、ユークリッドの深層ネットワークにおけるローカル情報を取得するためによく使われる畳み込み演算子を分析した。
この分析に基づいて、SPD多様体の局所情報を定義し、局所幾何学をマイニングするためのマルチスケールサブマニフォールドブロックを設計する。
論文 参考訳(メタデータ) (2022-01-25T07:39:25Z) - ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。
複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
論文 参考訳(メタデータ) (2021-02-16T04:07:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。