論文の概要: Matrix Manifold Neural Networks++

• arxiv url: http://arxiv.org/abs/2405.19206v1
• Date: Wed, 29 May 2024 15:47:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 16:31:41.490008
• Title: Matrix Manifold Neural Networks++
• Title（参考訳）: 行列マニフォールドニューラルネットワーク++
• Authors: Xuan Son Nguyen, Shuo Yang, Aymeric Histace,
• Abstract要約: 我々はSPDニューラルネットワークのための完全接続層を設計する。 本稿では,プロジェクタの観点から,グラスマン対数写像を用いて逆プロパゲーションを行う手法を提案する。
• 参考スコア（独自算出の注目度）: 18.385670036798707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) on Riemannian manifolds have garnered increasing interest in various applied areas. For instance, DNNs on spherical and hyperbolic manifolds have been designed to solve a wide range of computer vision and nature language processing tasks. One of the key factors that contribute to the success of these networks is that spherical and hyperbolic manifolds have the rich algebraic structures of gyrogroups and gyrovector spaces. This enables principled and effective generalizations of the most successful DNNs to these manifolds. Recently, some works have shown that many concepts in the theory of gyrogroups and gyrovector spaces can also be generalized to matrix manifolds such as Symmetric Positive Definite (SPD) and Grassmann manifolds. As a result, some building blocks for SPD and Grassmann neural networks, e.g., isometric models and multinomial logistic regression (MLR) can be derived in a way that is fully analogous to their spherical and hyperbolic counterparts. Building upon these works, we design fully-connected (FC) and convolutional layers for SPD neural networks. We also develop MLR on Symmetric Positive Semi-definite (SPSD) manifolds, and propose a method for performing backpropagation with the Grassmann logarithmic map in the projector perspective. We demonstrate the effectiveness of the proposed approach in the human action recognition and node classification tasks.
• Abstract（参考訳）: リーマン多様体上のディープニューラルネットワーク(DNN)は、様々な応用分野への関心が高まっている。 例えば、球面および双曲多様体上のDNNは、幅広いコンピュータビジョンと自然言語処理タスクを解決するように設計されている。 これらのネットワークの成功に寄与する重要な要因の1つは、球面および双曲多様体がジャイロ群とジャイロベクトル空間のリッチ代数構造を持つことである。 これにより、これらの多様体に対して最も成功した DNN の原理的かつ効果的な一般化が可能になる。 最近では、ジャイロ群とジャイロベクトル空間の理論における多くの概念が、対称正定値 (SPD) やグラスマン多様体 (Grassmann manifold) のような行列多様体にも一般化できることが示されている。 その結果、SPDとグラスマンニューラルネットワークのためのいくつかのビルディングブロック、例えば等尺モデルと多項ロジスティック回帰(MLR)は、球状および双曲型に完全に類似した方法で導出することができる。 これらの研究に基づいて、SPDニューラルネットワークのための完全接続層(FC)と畳み込み層を設計する。 また,Symmetric Positive Semi-Definite (SPSD) 多様体上で MLR を開発した。 本稿では,人間の行動認識とノード分類タスクにおける提案手法の有効性を示す。

関連論文リスト

• A Theoretical Study of Neural Network Expressive Power via Manifold Topology [9.054396245059555]
  実世界のデータに関する一般的な仮定は、それが低次元多様体の上または近くにあるということである。 本研究では,潜在データ多様体のネットワーク表現力について検討する。 本稿では,ReLUニューラルネットワークのサイズ上限について述べる。
  論文  参考訳（メタデータ） (2024-10-21T22:10:24Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Deep Extrinsic Manifold Representation for Vision Tasks [8.258646137095395]
  視覚タスクのためのDeep Extrinsic Manifold Representation (DEMR)というトリックを紹介した。 DEMRは外生多様体をディープニューラルネットワークに埋め込み、多様体表現を生成する。 我々は、DMRが点クラウドアライメントに効果的に適応し、$SE(3)$で出力を生成し、グラスマン多様体上の出力で照明部分空間学習を行うことを示す。
  論文  参考訳（メタデータ） (2024-03-31T03:16:08Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Riemannian Multinomial Logistics Regression for SPD Neural Networks [60.11063972538648]
  本稿では,Symmetric Positive Definite (SPD) 行列のための新しいタイプのディープニューラルネットワークを提案する。 我々のフレームワークは、既存のSPDネットワークで最も人気のあるLogEig分類器について、斬新な説明を提供する。 本手法の有効性は,レーダ認識,人行動認識,脳波分類(EEG)の3つの応用で実証された。
  論文  参考訳（メタデータ） (2023-05-18T20:12:22Z)
• Building Neural Networks on Matrix Manifolds: A Gyrovector Space Approach [8.003578990152945]
  我々はSPDとグラスマン多様体上にニューラルネットワークを構築するための新しいモデルと層を提案する。 本稿では,人間の行動認識と知識グラフ補完という2つの応用にアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-08T09:10:11Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
  本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。 要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
  論文  参考訳（メタデータ） (2022-10-01T21:17:39Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。