論文の概要: Riemannian Self-Attention Mechanism for SPD Networks

• arxiv url: http://arxiv.org/abs/2311.16738v1
• Date: Tue, 28 Nov 2023 12:34:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 18:31:32.897001
• Title: Riemannian Self-Attention Mechanism for SPD Networks
• Title（参考訳）: SPDネットワークにおけるリーマン自己注意機構
• Authors: Rui Wang, Xiao-Jun Wu, Hui Li, Josef Kittler
• Abstract要約: 本稿では,SPD多様体自己アテンション機構(SMSA)を提案する。 構造化表現の識別を改善するためにSMSAベースの幾何学習モジュール(SMSA-GL)を設計する。
• 参考スコア（独自算出の注目度）: 34.794770395408335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symmetric positive definite (SPD) matrix has been demonstrated to be an effective feature descriptor in many scientific areas, as it can encode spatiotemporal statistics of the data adequately on a curved Riemannian manifold, i.e., SPD manifold. Although there are many different ways to design network architectures for SPD matrix nonlinear learning, very few solutions explicitly mine the geometrical dependencies of features at different layers. Motivated by the great success of self-attention mechanism in capturing long-range relationships, an SPD manifold self-attention mechanism (SMSA) is proposed in this paper using some manifold-valued geometric operations, mainly the Riemannian metric, Riemannian mean, and Riemannian optimization. Then, an SMSA-based geometric learning module (SMSA-GLM) is designed for the sake of improving the discrimination of the generated deep structured representations. Extensive experimental results achieved on three benchmarking datasets show that our modification against the baseline network further alleviates the information degradation problem and leads to improved accuracy.
• Abstract（参考訳）: 対称正定値行列(SPD)は、曲線付きリーマン多様体、すなわちSPD多様体上のデータの時空間統計を適切に符号化できるため、多くの科学領域において効果的な特徴記述子であることが示されている。 SPD行列非線形学習のためのネットワークアーキテクチャを設計するには多くの異なる方法があるが、異なる層における特徴の幾何学的依存関係を明示的に抽出するソリューションはほとんどない。 本稿では,spd多様体自己着付け機構 (smsa) をリーマン計量, リーマン平均, リーマン最適化などの多様体値幾何演算を用いて提案する。 そして、生成された深層構造表現の識別を改善するため、SMSAベースの幾何学習モジュール(SMSA-GLM)を設計する。 3つのベンチマークデータセットで得られた広範囲な実験結果は、ベースラインネットワークに対する修正が情報劣化問題をさらに軽減し、精度の向上につながることを示している。

関連論文リスト

• RMLR: Extending Multinomial Logistic Regression into General Geometries [64.16104856124029]
  我々のフレームワークは、最小限の幾何学的性質しか必要とせず、広い適用性を示す。 SPD MLRの5つのファミリーを5種類のパワー変形測定値に基づいて開発する。 回転行列上では、人気のある双不変計量に基づいてリー MLR を提案する。
  論文  参考訳（メタデータ） (2024-09-28T18:38:21Z)
• Riemannian Multinomial Logistics Regression for SPD Neural Networks [60.11063972538648]
  本稿では,Symmetric Positive Definite (SPD) 行列のための新しいタイプのディープニューラルネットワークを提案する。 我々のフレームワークは、既存のSPDネットワークで最も人気のあるLogEig分類器について、斬新な説明を提供する。 本手法の有効性は,レーダ認識,人行動認識,脳波分類(EEG)の3つの応用で実証された。
  論文  参考訳（メタデータ） (2023-05-18T20:12:22Z)
• Adaptive Log-Euclidean Metrics for SPD Matrix Learning [73.12655932115881]
  広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。 実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-03-26T18:31:52Z)
• A Survey of Geometric Optimization for Deep Learning: From Euclidean Space to Riemannian Manifold [7.737713458418288]
  ディープラーニング(DL)は複雑な人工知能(AI)タスクで成功したが、様々な悪名高い問題に悩まされている。 本稿では、DLにおける幾何最適化の適用に関する総合的な調査について述べる。 畳み込みニューラルネットワーク、リカレントニューラルネットワーク、トランスファー学習、最適輸送など、さまざまなAIタスクにおける異なるDLネットワークにおける幾何学的最適化の適用について検討する。
  論文  参考訳（メタデータ） (2023-02-16T10:50:15Z)
• Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
  単一チャネルソース分離(SCSS)の問題点について検討する。 我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。 本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T14:04:56Z)
• Riemannian Local Mechanism for SPD Neural Networks [43.789561494266316]
  我々は,SPDネットワークにおける局所的幾何情報の保存を確実にすることが最重要であると論じている。 まず、ユークリッドの深層ネットワークにおけるローカル情報を取得するためによく使われる畳み込み演算子を分析した。 この分析に基づいて、SPD多様体の局所情報を定義し、局所幾何学をマイニングするためのマルチスケールサブマニフォールドブロックを設計する。
  論文  参考訳（メタデータ） (2022-01-25T07:39:25Z)
• GenURL: A General Framework for Unsupervised Representation Learning [58.59752389815001]
  教師なし表現学習(URL)は、教師なしの高次元データのコンパクトな埋め込みを学習する。 本稿では,様々なURLタスクにスムーズに適応可能な類似性ベースの統合URLフレームワークGenURLを提案する。 実験により、GenURLは、自己教師付き視覚学習、無教師付き知識蒸留(KD)、グラフ埋め込み(GE)、次元縮小において、一貫した最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-27T16:24:39Z)
• ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
  本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。 複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
  論文  参考訳（メタデータ） (2021-02-16T04:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。