論文の概要: Infinity-norm-based Input-to-State-Stable Long Short-Term Memory networks: a thermal systems perspective

• arxiv url: http://arxiv.org/abs/2503.11553v1
• Date: Fri, 14 Mar 2025 16:17:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:06:36.533609
• Title: Infinity-norm-based Input-to-State-Stable Long Short-Term Memory networks: a thermal systems perspective
• Title（参考訳）: Infinity-norm-based Input-to-State-Stable Long Short-Term Memory Network:熱システムの観点から
• Authors: Stefano De Carli, Davide Previtali, Leandro Pitturelli, Antonio Ferramosca, Fabio Previdi,
• Abstract要約: リカレントニューラルネットワーク(RNN)は,システム識別において顕著な性能を示した。 安定は実用上重要な課題です ISS$_infty$-promoted LSTM は物理モデルと ISS$_infty$-promoted Gated Recurrent Unit (GRU) ネットワークの両方より優れている。
• 参考スコア（独自算出の注目度）: 1.1567083441438717
• License:
• Abstract: Recurrent Neural Networks (RNNs) have shown remarkable performances in system identification, particularly in nonlinear dynamical systems such as thermal processes. However, stability remains a critical challenge in practical applications: although the underlying process may be intrinsically stable, there may be no guarantee that the resulting RNN model captures this behavior. This paper addresses the stability issue by deriving a sufficient condition for Input-to-State Stability based on the infinity-norm (ISS$_{\infty}$) for Long Short-Term Memory (LSTM) networks. The obtained condition depends on fewer network parameters compared to prior works. A ISS$_{\infty}$-promoted training strategy is developed, incorporating a penalty term in the loss function that encourages stability and an ad hoc early stopping approach. The quality of LSTM models trained via the proposed approach is validated on a thermal system case study, where the ISS$_{\infty}$-promoted LSTM outperforms both a physics-based model and an ISS$_{\infty}$-promoted Gated Recurrent Unit (GRU) network while also surpassing non-ISS$_{\infty}$-promoted LSTM and GRU RNNs.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、特に熱過程などの非線形力学系において、システム識別において顕著な性能を示した。 基礎となるプロセスは本質的に安定であるかもしれないが、結果として生じるRNNモデルがこの振る舞いを捉える保証はないかもしれない。 本稿では、長短記憶(LSTM)ネットワークの無限ノルム(ISS$_{\infty}$)に基づいて、入力状態安定性の十分な条件を導出することで、安定性の問題に対処する。 得られた条件は、以前の作業と比べてネットワークパラメータが少ないことに依存する。 ISS$_{\infty}$-promoted training strategyが開発され、損失関数にペナルティ項が組み込まれ、安定性とアドホック早期停止アプローチが促進される。 提案手法を用いてトレーニングされたLSTMモデルの品質は、ISS$_{\infty}$-promoted LSTMが物理モデルとISS$_{\infty}$-promoted Gated Recurrent Unit (GRU)ネットワークの両方を上回り、ISS$_{\infty}$-promoted LSTMとGRU RNNを上回り、熱システムケーススタディで検証されている。

関連論文リスト

• Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
  Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。 絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-10-28T15:54:50Z)
• Unconditional stability of a recurrent neural circuit implementing divisive normalization [0.0]
  任意次元ORGaNICs回路における非条件局所安定性の顕著な特性を証明した。 ORGaNICsは、勾配のクリッピング/スケーリングなしで、時間経過によるバックプロパゲーションによって訓練できることを示す。
  論文  参考訳（メタデータ） (2024-09-27T17:46:05Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Edge of stability echo state networks [5.888495030452654]
  Echo State Networks (ESN) は、Echo State Property (ESP) の原則の下で動作する時系列処理モデルである。 We introduced a new ESN architecture, the Edge of stability Echo State Network (ES$2$N)
  論文  参考訳（メタデータ） (2023-08-05T15:49:25Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Recurrent Equilibrium Networks: Flexible Dynamic Models with Guaranteed Stability and Robustness [3.2872586139884623]
  本稿では,機械学習,システム識別,制御における再帰平衡ネットワーク(REN)を提案する。 RENはRNの二次ベクトルによって直接パラメータ化され、安定性とロバスト性はパラメータ制約なしで確保される。 また,データ駆動型非線形オブザーバの設計と安定性保証による制御への応用について述べる。
  論文  参考訳（メタデータ） (2021-04-13T05:09:41Z)
• On the stability properties of Gated Recurrent Units neural networks [0.12891210250935145]
  本稿では,GRU(Gated Recurrent Units)ニューラルネットワークの入力状態安定性(ISS)とインクリメンタル入力状態安定性(deltaISS)を保証するための十分な条件を提供する。 条件はトレーニングされたネットワークの安定性を確認するために使用したり、GRUのトレーニング手順中に制約として適用することができる。 得られたトレーニング手順は、Quadruple Tankの非線形ベンチマークシステムでテストされ、良好なモデリング性能を示す。
  論文  参考訳（メタデータ） (2020-11-13T08:25:26Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)
• A Convex Parameterization of Robust Recurrent Neural Networks [3.2872586139884623]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャル・ツー・シーケンス・マップをモデル化するのによく用いられる非線形力学系のクラスである。 安定性とロバスト性を保証するRNNの凸集合を定式化する。
  論文  参考訳（メタデータ） (2020-04-11T03:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。