論文の概要: Path Development Network with Finite-dimensional Lie Group Representation
- arxiv url: http://arxiv.org/abs/2204.00740v2
- Date: Sun, 8 Sep 2024 12:56:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 06:18:42.512144
- Title: Path Development Network with Finite-dimensional Lie Group Representation
- Title(参考訳): 有限次元リー群表現を用いたパス開発ネットワーク
- Authors: Hang Lou, Siran Li, Hao Ni,
- Abstract要約: 有限次元リー群を経由したシーケンシャルデータの表現を利用する,新しい訓練可能な経路開発層を提案する。
提案するレイヤは、リカレントニューラルネットワーク(RNN)に類似しており、勾配問題を緩和する明示的で単純なリカレントユニットを有している。
様々なデータセットにおける実験結果から、開発層は、精度と次元性において、シグネチャ特性を一貫して、著しく上回っていることが示される。
- 参考スコア(独自算出の注目度): 3.9983665898166425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Signature, lying at the heart of rough path theory, is a central tool for analysing controlled differential equations driven by irregular paths. Recently it has also found extensive applications in machine learning and data science as a mathematically principled, universal feature that boosts the performance of deep learning-based models in sequential data tasks. It, nevertheless, suffers from the curse of dimensionality when paths are high-dimensional. We propose a novel, trainable path development layer, which exploits representations of sequential data through finite-dimensional Lie groups, thus resulting in dimension reduction. Its backpropagation algorithm is designed via optimization on manifolds. Our proposed layer, analogous to recurrent neural networks (RNN), possesses an explicit, simple recurrent unit that alleviates the gradient issues. Our layer demonstrates its strength in irregular time series modelling. Empirical results on a range of datasets show that the development layer consistently and significantly outperforms signature features on accuracy and dimensionality. The compact hybrid model (stacking one-layer LSTM with the development layer) achieves state-of-the-art against various RNN and continuous time series models. Our layer also enhances the performance of modelling dynamics constrained to Lie groups. Code is available at https://github.com/PDevNet/DevNet.git.
- Abstract(参考訳): 符号は粗経路理論の中心に位置し、不規則経路によって駆動される制御された微分方程式を分析する中心的なツールである。
最近、機械学習とデータサイエンスの幅広い応用が、シーケンシャルなデータタスクにおけるディープラーニングベースのモデルの性能を高める、数学的に原則化された普遍的な機能として見出されている。
それにもかかわらず、パスが高次元であるときの次元性の呪いに苦しむ。
有限次元リー群を経由した逐次データの表現を利用して,次元の減少をもたらす新しい学習可能な経路開発層を提案する。
そのバックプロパゲーションアルゴリズムは多様体の最適化によって設計されている。
提案するレイヤは、リカレントニューラルネットワーク(RNN)に類似しており、勾配問題を緩和する明示的で単純なリカレントユニットを有している。
我々の層は不規則時系列モデリングにおいてその強度を示す。
様々なデータセットにおける実験結果から、開発層は、精度と次元性において、シグネチャ特性を一貫して、著しく上回っていることが示される。
コンパクトなハイブリッドモデル(開発層に一層LSTMをインストール)は、様々なRNNおよび連続時系列モデルに対して最先端を実現する。
また、この層はリー群に制約されたモデリング力学の性能も向上させる。
コードはhttps://github.com/PDevNet/DevNet.git.comで入手できる。
関連論文リスト
- Scalable manifold learning by uniform landmark sampling and constrained
locally linear embedding [0.6144680854063939]
本研究では,大規模・高次元データを効率的に操作できるスケーラブルな多様体学習法を提案する。
異なるタイプの合成データセットと実世界のベンチマークにおけるSCMLの有効性を実証的に検証した。
scMLはデータサイズや埋め込み次元の増大とともにスケールし、グローバル構造を保存する上で有望なパフォーマンスを示す。
論文 参考訳(メタデータ) (2024-01-02T08:43:06Z) - On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。
低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
論文 参考訳(メタデータ) (2023-10-30T17:55:28Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳(メタデータ) (2023-09-07T16:55:50Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - On Hypothesis Transfer Learning of Functional Linear Models [8.557392136621894]
再生カーネル空間(RKHS)フレームワークを用いて,関数線形回帰(FLR)のための伝達学習(TL)について検討する。
我々は、RKHS距離を用いてタスク間の類似度を測定し、RKHSの特性に関連付けられた情報の転送を行う。
2つのアルゴリズムが提案され、1つは正のソースが分かっているときに転送を行い、もう1つはアグリゲーションを利用してソースに関する事前情報なしでロバストな転送を行う。
論文 参考訳(メタデータ) (2022-06-09T04:50:16Z) - A Differential Evolution-Enhanced Latent Factor Analysis Model for
High-dimensional and Sparse Data [11.164847043777703]
本稿では,PLFAモデルにより最適化された潜在因子を改良するための逐次群差分進化(SGDE)アルゴリズムを提案する。
4つのHiDS行列の実験で示されたように、SGDE-PLFAモデルは最先端のモデルよりも優れている。
論文 参考訳(メタデータ) (2022-04-02T13:41:19Z) - Surface Vision Transformers: Attention-Based Modelling applied to
Cortical Analysis [8.20832544370228]
球面多様体上に投影された任意の曲面データを研究するために、ドメインに依存しないアーキテクチャを導入する。
ビジョントランスモデルは、連続したマルチヘッド自己アテンション層を介してパッチのシーケンスを符号化する。
実験の結果、SiTは一般的に表面CNNよりも優れており、登録データと未登録データで比較可能であることがわかった。
論文 参考訳(メタデータ) (2022-03-30T15:56:11Z) - Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。
クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。
MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
論文 参考訳(メタデータ) (2021-06-08T00:30:43Z) - Two-Dimensional Semi-Nonnegative Matrix Factorization for Clustering [50.43424130281065]
TS-NMFと呼ばれる2次元(2次元)データに対する新しい半負行列分解法を提案する。
前処理ステップで2次元データをベクトルに変換することで、データの空間情報に深刻なダメージを与える既存の手法の欠点を克服する。
論文 参考訳(メタデータ) (2020-05-19T05:54:14Z) - Learning to Guide Random Search [111.71167792453473]
我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。
最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。
本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
論文 参考訳(メタデータ) (2020-04-25T19:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。