論文の概要: Switching Autoregressive Low-rank Tensor Models

• arxiv url: http://arxiv.org/abs/2306.03291v1
• Date: Mon, 5 Jun 2023 22:25:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 17:59:54.793514
• Title: Switching Autoregressive Low-rank Tensor Models
• Title（参考訳）: スイッチング自己回帰低ランクテンソルモデル
• Authors: Hyun Dong Lee, Andrew Warrington, Joshua I. Glaser, Scott W. Linderman
• Abstract要約: 自己回帰型低ランクテンソル(SALT)モデルを切り替える方法について述べる。 SALTはARHMMのテンソルを低ランクの分解でパラメータ化し、パラメータの数を制御する。 本稿では,SALT,線形力学系,SLDS間の実用的関係を理論的に検証し議論する。
• 参考スコア（独自算出の注目度）: 12.461139675114818
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: An important problem in time-series analysis is modeling systems with time-varying dynamics. Probabilistic models with joint continuous and discrete latent states offer interpretable, efficient, and experimentally useful descriptions of such data. Commonly used models include autoregressive hidden Markov models (ARHMMs) and switching linear dynamical systems (SLDSs), each with its own advantages and disadvantages. ARHMMs permit exact inference and easy parameter estimation, but are parameter intensive when modeling long dependencies, and hence are prone to overfitting. In contrast, SLDSs can capture long-range dependencies in a parameter efficient way through Markovian latent dynamics, but present an intractable likelihood and a challenging parameter estimation task. In this paper, we propose switching autoregressive low-rank tensor (SALT) models, which retain the advantages of both approaches while ameliorating the weaknesses. SALT parameterizes the tensor of an ARHMM with a low-rank factorization to control the number of parameters and allow longer range dependencies without overfitting. We prove theoretical and discuss practical connections between SALT, linear dynamical systems, and SLDSs. We empirically demonstrate quantitative advantages of SALT models on a range of simulated and real prediction tasks, including behavioral and neural datasets. Furthermore, the learned low-rank tensor provides novel insights into temporal dependencies within each discrete state.
• Abstract（参考訳）: 時系列解析における重要な問題は、時変ダイナミクスを持つモデリングシステムである。 連続的および離散的潜在状態を持つ確率モデルは、そのようなデータの解釈可能、効率的、実験的に有用な記述を提供する。 一般的に使われているモデルには、自己回帰隠れマルコフモデル(ARHMM)と線形力学系(SLDS)の切り替えがあり、それぞれ独自の利点と欠点がある。 arhmmは正確な推論と簡単なパラメータ推定を可能にするが、長い依存関係をモデル化する場合はパラメータが集中する。 対照的に、SLDSはマルコフの潜在力学を通してパラメータのパラメータ依存性を効率的に捉えることができるが、難解な可能性と挑戦的なパラメータ推定タスクを示す。 本稿では,両手法の利点を保ちながら弱点を改善した自己回帰型低ランクテンソル(SALT)モデルの変更を提案する。 SALTはARHMMのテンソルを低ランク因数分解でパラメータ化し、パラメータの数を制御し、オーバーフィットすることなく長い範囲依存を可能にする。 塩,線形力学系,slds間の実用的関係を理論的に検証し考察する。 我々は、行動や神経データセットを含む様々なシミュレーションおよび実際の予測タスクにおいて、塩モデルの定量的な利点を実証する。 さらに、学習された低ランクテンソルは、各離散状態における時間依存に対する新しい洞察を提供する。

関連論文リスト

• Combined Optimization of Dynamics and Assimilation with End-to-End Learning on Sparse Observations [1.492574139257933]
  CODAは、疎度でノイズの多い観測から、ダイナミックスとDAを直接学習するエンドツーエンドの最適化スキームである。 本研究では,非ロール型自己回帰力学と,弱い制約を持つ4Dvar DAのデータと自己整合性を組み合わせた新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-09-11T09:36:15Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Multi-fidelity reduced-order surrogate modeling [5.346062841242067]
  我々は,次元削減と多要素ニューラルネットワークのサロゲートを組み合わせた新しいデータ駆動型戦略を提案する。 このサロゲート法により不安定性と過渡性の開始が良好に捉えられることを示す。
  論文  参考訳（メタデータ） (2023-09-01T08:16:53Z)
• Reduced order modeling of parametrized systems through autoencoders and SINDy approach: continuation of periodic solutions [0.0]
  本研究は,ROM構築と動的識別の低減を組み合わせたデータ駆動型非侵入型フレームワークを提案する。 提案手法は、非線形力学(SINDy)のパラメトリックスパース同定によるオートエンコーダニューラルネットワークを利用して、低次元力学モデルを構築する。 これらは、システムパラメータの関数として周期的定常応答の進化を追跡し、過渡位相の計算を避け、不安定性と分岐を検出することを目的としている。
  論文  参考訳（メタデータ） (2022-11-13T01:57:18Z)
• ES-dRNN: A Hybrid Exponential Smoothing and Dilated Recurrent Neural Network Model for Short-Term Load Forecasting [1.4502611532302039]
  複雑な時系列(TS)のため、短期負荷予測(STLF)は困難である 本稿では,複数の季節性を扱うハイブリッド階層型ディープラーニングモデルを提案する。 指数スムージング(ES)とリカレントニューラルネットワーク(RNN)を組み合わせる。
  論文  参考訳（メタデータ） (2021-12-05T19:38:42Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Neural Closure Models for Dynamical Systems [35.000303827255024]
  低忠実度モデルに対する非マルコフ閉閉パラメータ化を学習する新しい手法を開発した。 ニューラルクロージャモデル」はニューラル遅延微分方程式(nDDE)を用いた低忠実度モデルを強化する 非マルコヴィアンオーバーマルコヴィアンクロージャを使用することで、長期的精度が向上し、より小さなネットワークが必要であることを示した。
  論文  参考訳（メタデータ） (2020-12-27T05:55:33Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。