論文の概要: T-SHRED: Symbolic Regression for Regularization and Model Discovery with Transformer Shallow Recurrent Decoders

• arxiv url: http://arxiv.org/abs/2506.15881v1
• Date: Wed, 18 Jun 2025 21:14:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.854779
• Title: T-SHRED: Symbolic Regression for Regularization and Model Discovery with Transformer Shallow Recurrent Decoders
• Title（参考訳）: T-SHRED: Transformer Shallow Recurrent Decoderによる正規化とモデル発見のためのシンボリック回帰
• Authors: Alexey Yermakov, David Zoro, Mars Liyao Gao, J. Nathan Kutz,
• Abstract要約: シャローリカレントデコーダ(SHRED)はスパースセンサ測定からシステム同定と予測に有効である。 我々は、次のステップ状態予測の性能を向上させる時間符号化に変換器(T-SHRED)を活用することにより、SHREDを改善する。 シンボリック回帰は、トレーニング中の潜在空間のダイナミクスを学習し、規則化することによって、モデルの解釈可能性を改善する。
• 参考スコア（独自算出の注目度）: 2.8820361301109365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: SHallow REcurrent Decoders (SHRED) are effective for system identification and forecasting from sparse sensor measurements. Such models are light-weight and computationally efficient, allowing them to be trained on consumer laptops. SHRED-based models rely on Recurrent Neural Networks (RNNs) and a simple Multi-Layer Perceptron (MLP) for the temporal encoding and spatial decoding respectively. Despite the relatively simple structure of SHRED, they are able to predict chaotic dynamical systems on different physical, spatial, and temporal scales directly from a sparse set of sensor measurements. In this work, we improve SHRED by leveraging transformers (T-SHRED) for the temporal encoding which improves performance on next-step state prediction on large datasets. We also introduce a sparse identification of nonlinear dynamics (SINDy) attention mechanism into T-SHRED to perform symbolic regression directly on the latent space as part of the model regularization architecture. Symbolic regression improves model interpretability by learning and regularizing the dynamics of the latent space during training. We analyze the performance of T-SHRED on three different dynamical systems ranging from low-data to high-data regimes. We observe that SINDy attention T-SHRED accurately predicts future frames based on an interpretable symbolic model across all tested datasets.
• Abstract（参考訳）: シャローリカレントデコーダ(SHRED)はスパースセンサ測定からシステム同定と予測に有効である。 このようなモデルは軽量で計算効率が良いため、コンシューマー向けラップトップでトレーニングすることができる。 SHREDベースのモデルは、それぞれ時間符号化と空間復号のために、リカレントニューラルネットワーク(RNN)とシンプルなMulti-Layer Perceptron(MLP)に依存している。 SHREDの比較的単純な構造にもかかわらず、様々な物理的、空間的、時間的スケールのカオス力学系を、スパースなセンサー測定から直接予測することができる。 本研究では,大規模なデータセット上での次ステップ状態予測の性能を向上させる時間符号化にトランスフォーマー(T-SHRED)を活用することでSHREDを改善する。 また、モデル正規化アーキテクチャの一部として、潜在空間上でシンボルレグレッションを行うために、非線形力学(SINDy)アテンション機構をT-SHREDにスパース同定する。 シンボリック回帰は、トレーニング中の潜在空間のダイナミクスを学習し、規則化することによって、モデルの解釈可能性を改善する。 低データ状態から高データ状態までの3つの力学系におけるT-SHREDの性能を解析する。 我々は、SINDy attention T-SHREDが全テストデータセットの解釈可能なシンボリックモデルに基づいて、将来のフレームを正確に予測することを観察する。

関連論文リスト

• Weight-Space Linear Recurrent Neural Networks [0.5937476291232799]
  WARP(Weight-space Adaptive Recurrent Prediction)は、重み空間学習を線形反復で統一する強力なフレームワークである。 WARPは、様々な分類タスクにおいて最先端のベースラインと一致しているか、あるいは超越しているかを示す。
  論文  参考訳（メタデータ） (2025-06-01T20:13:28Z)
• Sparse identification of nonlinear dynamics and Koopman operators with Shallow Recurrent Decoder Networks [3.1484174280822845]
  本稿では, 簡易な実装, 効率的, 堅牢な性能で, センサとモデル識別の問題を共同で解決する手法を提案する。 SINDy-SHREDはGated Recurrent Unitsを使用してスパースセンサー計測と浅いネットワークデコーダをモデル化し、潜在状態空間からフルタイムフィールドを再構築する。 本研究では, 乱流, 海面温度の実環境センサ計測, 直接ビデオデータなどのPDEデータに関する系統的研究を行った。
  論文  参考訳（メタデータ） (2025-01-23T02:18:13Z)
• KFD-NeRF: Rethinking Dynamic NeRF with Kalman Filter [49.85369344101118]
  KFD-NeRFは,Kalmanフィルタに基づく効率的かつ高品質な運動再構成フレームワークと統合された,新しい動的ニューラル放射場である。 我々のキーとなる考え方は、動的放射場を、観測と予測という2つの知識源に基づいて時間的に異なる状態が推定される動的システムとしてモデル化することである。 我々のKFD-NeRFは、同等の計算時間と最先端の視線合成性能で、徹底的な訓練を施した類似または優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-18T05:48:24Z)
• Brain-Inspired Spiking Neural Network for Online Unsupervised Time Series Prediction [13.521272923545409]
  連続学習に基づく非教師付きリカレントスパイキングニューラルネットワークモデル(CLURSNN)を提案する。 CLURSNNは、ランダム遅延埋め込み(Random Delay Embedding)を使用して基盤となる動的システムを再構築することで、オンライン予測を行う。 提案手法は,進化するロレンツ63力学系を予測する際に,最先端のDNNモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-10T16:18:37Z)
• Dynamic Spatial Sparsification for Efficient Vision Transformers and Convolutional Neural Networks [88.77951448313486]
  視覚データにおける空間空間空間性を利用したモデルアクセラレーションのための新しい手法を提案する。 本稿では,冗長トークンを具現化する動的トークンスペーシフィケーションフレームワークを提案する。 提案手法は,CNNや階層型視覚変換器などの階層モデルに拡張する。
  論文  参考訳（メタデータ） (2022-07-04T17:00:51Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。