論文の概要: Path Development Network with Finite-dimensional Lie Group
Representation
- arxiv url: http://arxiv.org/abs/2204.00740v1
- Date: Sat, 2 Apr 2022 02:01:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-05 13:32:19.280631
- Title: Path Development Network with Finite-dimensional Lie Group
Representation
- Title(参考訳): 有限次元リー群表現を用いたパス開発ネットワーク
- Authors: Hang Lou, Siran Li, Hao Ni
- Abstract要約: 有限次元行列リー群の助けを借りてシーケンシャルデータの表現を利用する,新しい訓練可能な経路開発層を提案する。
数値実験により、経路の発達は、精度と次元性の観点から、いくつかの経験的データセット上でのシグネチャ特性において、一貫して、著しく上回っていることが示された。
- 参考スコア(独自算出の注目度): 1.6114012813668934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The path signature, a mathematically principled and universal feature of
sequential data, leads to a performance boost of deep learning-based models in
various sequential data tasks as a complimentary feature. However, it suffers
from the curse of dimensionality when the path dimension is high. To tackle
this problem, we propose a novel, trainable path development layer, which
exploits representations of sequential data with the help of finite-dimensional
matrix Lie groups. We also design the backpropagation algorithm of the
development layer via an optimisation method on manifolds known as
trivialisation. Numerical experiments demonstrate that the path development
consistently and significantly outperforms, in terms of accuracy and
dimensionality, signature features on several empirical datasets. Moreover,
stacking the LSTM with the development layer with a suitable matrix Lie group
is empirically proven to alleviate the gradient issues of LSTMs and the
resulting hybrid model achieves the state-of-the-art performance.
- Abstract(参考訳): シーケンシャルデータの数学的原理と普遍的な特徴であるパスシグネチャは、補完的な特徴として、様々なシーケンシャルなデータタスクにおけるディープラーニングベースのモデルのパフォーマンスを向上させる。
しかし、道の寸法が高いときは次元の呪いに悩まされる。
そこで本稿では,有限次元行列リー群の助けを借りて,逐次データの表現を利用する新しい学習可能な経路展開層を提案する。
また、自明化として知られる多様体上の最適化手法により、開発層のバックプロパゲーションアルゴリズムを設計する。
数値実験により、経路の発達は、複数の経験的データセットのシグネチャの特徴の正確さと寸法の点で、一貫して著しく優れていることが示されている。
さらに、LSTMを適切な行列リー群で開発層に積み重ねることで、LSTMの勾配問題を緩和し、その結果のハイブリッドモデルが最先端の性能を達成することを実証的に証明する。
関連論文リスト
- Scalable manifold learning by uniform landmark sampling and constrained
locally linear embedding [0.6144680854063939]
本研究では,大規模・高次元データを効率的に操作できるスケーラブルな多様体学習法を提案する。
異なるタイプの合成データセットと実世界のベンチマークにおけるSCMLの有効性を実証的に検証した。
scMLはデータサイズや埋め込み次元の増大とともにスケールし、グローバル構造を保存する上で有望なパフォーマンスを示す。
論文 参考訳(メタデータ) (2024-01-02T08:43:06Z) - On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。
低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
論文 参考訳(メタデータ) (2023-10-30T17:55:28Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳(メタデータ) (2023-09-07T16:55:50Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - On Hypothesis Transfer Learning of Functional Linear Models [8.557392136621894]
再生カーネル空間(RKHS)フレームワークを用いて,関数線形回帰(FLR)のための伝達学習(TL)について検討する。
我々は、RKHS距離を用いてタスク間の類似度を測定し、RKHSの特性に関連付けられた情報の転送を行う。
2つのアルゴリズムが提案され、1つは正のソースが分かっているときに転送を行い、もう1つはアグリゲーションを利用してソースに関する事前情報なしでロバストな転送を行う。
論文 参考訳(メタデータ) (2022-06-09T04:50:16Z) - A Differential Evolution-Enhanced Latent Factor Analysis Model for
High-dimensional and Sparse Data [11.164847043777703]
本稿では,PLFAモデルにより最適化された潜在因子を改良するための逐次群差分進化(SGDE)アルゴリズムを提案する。
4つのHiDS行列の実験で示されたように、SGDE-PLFAモデルは最先端のモデルよりも優れている。
論文 参考訳(メタデータ) (2022-04-02T13:41:19Z) - Surface Vision Transformers: Attention-Based Modelling applied to
Cortical Analysis [8.20832544370228]
球面多様体上に投影された任意の曲面データを研究するために、ドメインに依存しないアーキテクチャを導入する。
ビジョントランスモデルは、連続したマルチヘッド自己アテンション層を介してパッチのシーケンスを符号化する。
実験の結果、SiTは一般的に表面CNNよりも優れており、登録データと未登録データで比較可能であることがわかった。
論文 参考訳(メタデータ) (2022-03-30T15:56:11Z) - Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。
クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。
MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
論文 参考訳(メタデータ) (2021-06-08T00:30:43Z) - Two-Dimensional Semi-Nonnegative Matrix Factorization for Clustering [50.43424130281065]
TS-NMFと呼ばれる2次元(2次元)データに対する新しい半負行列分解法を提案する。
前処理ステップで2次元データをベクトルに変換することで、データの空間情報に深刻なダメージを与える既存の手法の欠点を克服する。
論文 参考訳(メタデータ) (2020-05-19T05:54:14Z) - Learning to Guide Random Search [111.71167792453473]
我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。
最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。
本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
論文 参考訳(メタデータ) (2020-04-25T19:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。