論文の概要: Path Development Network with Finite-dimensional Lie Group Representation

• arxiv url: http://arxiv.org/abs/2204.00740v2
• Date: Sun, 8 Sep 2024 12:56:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 06:18:42.512144
• Title: Path Development Network with Finite-dimensional Lie Group Representation
• Title（参考訳）: 有限次元リー群表現を用いたパス開発ネットワーク
• Authors: Hang Lou, Siran Li, Hao Ni,
• Abstract要約: 有限次元リー群を経由したシーケンシャルデータの表現を利用する,新しい訓練可能な経路開発層を提案する。 提案するレイヤは、リカレントニューラルネットワーク(RNN)に類似しており、勾配問題を緩和する明示的で単純なリカレントユニットを有している。 様々なデータセットにおける実験結果から、開発層は、精度と次元性において、シグネチャ特性を一貫して、著しく上回っていることが示される。
• 参考スコア（独自算出の注目度）: 3.9983665898166425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Signature, lying at the heart of rough path theory, is a central tool for analysing controlled differential equations driven by irregular paths. Recently it has also found extensive applications in machine learning and data science as a mathematically principled, universal feature that boosts the performance of deep learning-based models in sequential data tasks. It, nevertheless, suffers from the curse of dimensionality when paths are high-dimensional. We propose a novel, trainable path development layer, which exploits representations of sequential data through finite-dimensional Lie groups, thus resulting in dimension reduction. Its backpropagation algorithm is designed via optimization on manifolds. Our proposed layer, analogous to recurrent neural networks (RNN), possesses an explicit, simple recurrent unit that alleviates the gradient issues. Our layer demonstrates its strength in irregular time series modelling. Empirical results on a range of datasets show that the development layer consistently and significantly outperforms signature features on accuracy and dimensionality. The compact hybrid model (stacking one-layer LSTM with the development layer) achieves state-of-the-art against various RNN and continuous time series models. Our layer also enhances the performance of modelling dynamics constrained to Lie groups. Code is available at https://github.com/PDevNet/DevNet.git.
• Abstract（参考訳）: 符号は粗経路理論の中心に位置し、不規則経路によって駆動される制御された微分方程式を分析する中心的なツールである。 最近、機械学習とデータサイエンスの幅広い応用が、シーケンシャルなデータタスクにおけるディープラーニングベースのモデルの性能を高める、数学的に原則化された普遍的な機能として見出されている。 それにもかかわらず、パスが高次元であるときの次元性の呪いに苦しむ。 有限次元リー群を経由した逐次データの表現を利用して,次元の減少をもたらす新しい学習可能な経路開発層を提案する。 そのバックプロパゲーションアルゴリズムは多様体の最適化によって設計されている。 提案するレイヤは、リカレントニューラルネットワーク(RNN)に類似しており、勾配問題を緩和する明示的で単純なリカレントユニットを有している。 我々の層は不規則時系列モデリングにおいてその強度を示す。 様々なデータセットにおける実験結果から、開発層は、精度と次元性において、シグネチャ特性を一貫して、著しく上回っていることが示される。 コンパクトなハイブリッドモデル(開発層に一層LSTMをインストール)は、様々なRNNおよび連続時系列モデルに対して最先端を実現する。 また、この層はリー群に制約されたモデリング力学の性能も向上させる。 コードはhttps://github.com/PDevNet/DevNet.git.comで入手できる。

関連論文リスト

• Deep Learning as Ricci Flow [38.27936710747996]
  ディープニューラルネットワーク(DNN)は、複雑なデータの分布を近似する強力なツールである。 分類タスク中のDNNによる変換は、ハミルトンのリッチ流下で期待されるものと類似していることを示す。 本研究の成果は, 微分幾何学や離散幾何学から, 深層学習における説明可能性の問題まで, ツールの利用を動機づけるものである。
  論文  参考訳（メタデータ） (2024-04-22T15:12:47Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• A Deep Dive into the Connections Between the Renormalization Group and Deep Learning in the Ising Model [0.0]
  再正規化群(Renormalization group、RG)は、統計物理学と量子場理論において必須の手法である。 本研究では, 1D と 2D Ising モデルに対する広範な再正規化手法を開発し, 比較のためのベースラインを提供する。 2次元イジングモデルでは、Wolffアルゴリズムを用いてIsingモデルサンプルを生成し、準決定論的手法を用いてグループフローを実行した。
  論文  参考訳（メタデータ） (2023-08-21T22:50:54Z)
• DRGCN: Dynamic Evolving Initial Residual for Deep Graph Convolutional Networks [19.483662490506646]
  我々はDRGCN(Residual Graph Convolutional Network)と呼ばれる新しいモデルを提案する。 実験結果から, 深部GCNの過密化問題を効果的に解消できることが示唆された。 我々のモデルはOpen Graph Benchmark (OGB) の大規模ogbn-arxivデータセット上で新しいSOTA結果に達する。
  論文  参考訳（メタデータ） (2023-02-10T06:57:12Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Data-Driven Reduced-Order Modeling of Spatiotemporal Chaos with Neural Ordinary Differential Equations [0.0]
  本稿では,偏微分方程式のカオス力学を生かしたデータ駆動型還元次数モデリング手法を提案する。 次元の減少は周囲空間の予測と比較して性能を向上することがわかった。 低次元モデルでは、広い空間データに対する真の力学の短・長期統計レクリエーションに優れる。
  論文  参考訳（メタデータ） (2021-08-31T20:00:33Z)
• Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
  本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。 クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。 MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
  論文  参考訳（メタデータ） (2021-06-08T00:30:43Z)
• E(n) Equivariant Graph Neural Networks [86.75170631724548]
  本稿では,E(n)-Equivariant Graph Neural Networks (EGNNs) と呼ばれる回転,翻訳,反射,置換に等価なグラフニューラルネットワークを学習する新しいモデルを提案する。 既存の手法とは対照的に、私たちの仕事は計算的に高価な中間層における高階表現を必要としません。
  論文  参考訳（メタデータ） (2021-02-19T10:25:33Z)
• Mix Dimension in Poincar\'{e} Geometry for 3D Skeleton-based Action Recognition [57.98278794950759]
  グラフ畳み込みネットワーク(GCN)はすでに、不規則なデータをモデル化する強力な能力を実証している。 本稿では,ポアンカー幾何学を用いて定義した空間時空間GCNアーキテクチャを提案する。 提案手法を,現在最大規模の2つの3次元データセット上で評価する。
  論文  参考訳（メタデータ） (2020-07-30T18:23:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。