論文の概要: LORD: Lower-Dimensional Embedding of Log-Signature in Neural Rough Differential Equations

• arxiv url: http://arxiv.org/abs/2204.08781v1
• Date: Tue, 19 Apr 2022 10:02:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 14:47:10.816623
• Title: LORD: Lower-Dimensional Embedding of Log-Signature in Neural Rough Differential Equations
• Title（参考訳）: lord:neural rough differential equationにおけるlog-signatureの低次元埋め込み
• Authors: Jaehoon Lee, Jinsung Jeon, Sheo yon Jhin, Jihyeon Hyeong, Jayoung Kim, Minju Jo, Kook Seungji, Noseong Park
• Abstract要約: NRDEに基づくオートエンコーダは,より深度の高いログ署名知識を低深さのログ署名に組み込むことができることを示す。 エンコーダは,高深度と低深度ログ署名の知識をうまく組み合わせることで,トレーニングプロセスの大幅な安定化とモデルの精度の向上を実現している。
• 参考スコア（独自算出の注目度）: 19.37382379378985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The problem of processing very long time-series data (e.g., a length of more than 10,000) is a long-standing research problem in machine learning. Recently, one breakthrough, called neural rough differential equations (NRDEs), has been proposed and has shown that it is able to process such data. Their main concept is to use the log-signature transform, which is known to be more efficient than the Fourier transform for irregular long time-series, to convert a very long time-series sample into a relatively shorter series of feature vectors. However, the log-signature transform causes non-trivial spatial overheads. To this end, we present the method of LOweR-Dimensional embedding of log-signature (LORD), where we define an NRDE-based autoencoder to implant the higher-depth log-signature knowledge into the lower-depth log-signature. We show that the encoder successfully combines the higher-depth and the lower-depth log-signature knowledge, which greatly stabilizes the training process and increases the model accuracy. In our experiments with benchmark datasets, the improvement ratio by our method is up to 75\% in terms of various classification and forecasting evaluation metrics.
• Abstract（参考訳）: 非常に長い時系列データを処理する問題(例えば1万以上)は、機械学習における長年の研究課題である。 近年,ニューラル粗微分方程式 (NRDE) と呼ばれるブレークスルーが提案され,そのようなデータを処理できることが示されている。 その主な概念は、不規則な長い時系列に対してフーリエ変換よりも効率的であることが知られている対数符号変換を使用して、非常に長い時系列サンプルを比較的短い特徴ベクトルに変換することである。 しかし、対数信号変換は非自明な空間オーバーヘッドを引き起こす。 そこで我々は,より深度の高いログ署名知識を下位のログ署名に埋め込むためのNRDEベースのオートエンコーダを定義する。 エンコーダは,高深度と低深度ログ署名の知識をうまく組み合わせることで,トレーニングプロセスの大幅な安定化とモデルの精度の向上を実現している。 ベンチマークデータセットを用いた実験では,評価指標の分類と予測に関して,提案手法による改善率を最大75\%とした。

関連論文リスト

• Cyclical Log Annealing as a Learning Rate Scheduler [0.0]
  学習率スケジューラ(英: learning rate scheduler)とは、モデル学習過程において、様々な探索ステップの指示セットである。 本稿では,降下勾配を通したステップサイズを過度に再起動する手法を提案する。
  論文  参考訳（メタデータ） (2024-03-13T14:07:20Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Graph Neural Rough Differential Equations for Traffic Forecasting [12.920211720852173]
  グラフニューラル微分方程式(STG-NRDE)の粗解法を提案する。 NRDEは時系列データを処理するための画期的な概念である。 6つのベンチマークデータセットと27のベースラインで実験を行います。
  論文  参考訳（メタデータ） (2023-03-20T06:57:10Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Variational Sparse Coding with Learned Thresholding [6.737133300781134]
  サンプルをしきい値にすることでスパース分布を学習できる変分スパース符号化の新しい手法を提案する。 まず,線形発生器を訓練し,その性能,統計的効率,勾配推定に優れることを示す。
  論文  参考訳（メタデータ） (2022-05-07T14:49:50Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Logsig-RNN: a novel network for robust and efficient skeleton-based action recognition [3.775860173040509]
  我々は、ログネイティブ層とリカレント型ニューラルネットワーク(RNN)を組み合わせた新しいモジュール、Logsig-RNNを提案する。 特に,簡単な経路変換層とLogsig-RNNを組み合わせることで,Chalearn2013ジェスチャデータの最先端精度を実現する。
  論文  参考訳（メタデータ） (2021-10-25T14:47:15Z)
• Deep Signature FBSDE Algorithm [11.634777651835076]
  状態と経路に依存する特徴を持つ前方微分方程式 (FBSDE) を解くために, ディープシグネチャ/log-signature FBSDEアルゴリズムを提案する。 ニューラルネット(RNN)モデルにディープシグネチャ/ログ-シグネチャ変換を組み込むことで,トレーニング時間を短縮し,精度を向上し,既存の文献の手法と比較して時間的地平線を延長する。
  論文  参考訳（メタデータ） (2021-08-24T03:21:26Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。