論文の概要: Eigenvalue initialisation and regularisation for Koopman autoencoders

• arxiv url: http://arxiv.org/abs/2212.12086v1
• Date: Fri, 23 Dec 2022 00:05:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 17:21:18.802871
• Title: Eigenvalue initialisation and regularisation for Koopman autoencoders
• Title（参考訳）: クープマンオートエンコーダの固有値初期化と正規化
• Authors: Jack W. Miller, Charles O'Neill, Navid C. Constantinou, and Omri Azencot
• Abstract要約: エンコーダ,クープマン演算子層,デコーダを含むクープマンオートエンコーダモデルについて検討する。 固有値分布から初期クープマン作用素をサンプリングする固有init初期化スキームを提案する。 さらに、訓練中にクープマン作用素の固有値を解析する「固有ロス」ペナルティスキームを提案する。
• 参考スコア（独自算出の注目度）: 2.260916274164351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularising the parameter matrices of neural networks is ubiquitous in training deep models. Typical regularisation approaches suggest initialising weights using small random values, and to penalise weights to promote sparsity. However, these widely used techniques may be less effective in certain scenarios. Here, we study the Koopman autoencoder model which includes an encoder, a Koopman operator layer, and a decoder. These models have been designed and dedicated to tackle physics-related problems with interpretable dynamics and an ability to incorporate physics-related constraints. However, the majority of existing work employs standard regularisation practices. In our work, we take a step toward augmenting Koopman autoencoders with initialisation and penalty schemes tailored for physics-related settings. Specifically, we propose the "eigeninit" initialisation scheme that samples initial Koopman operators from specific eigenvalue distributions. In addition, we suggest the "eigenloss" penalty scheme that penalises the eigenvalues of the Koopman operator during training. We demonstrate the utility of these schemes on two synthetic data sets: a driven pendulum and flow past a cylinder; and two real-world problems: ocean surface temperatures and cyclone wind fields. We find on these datasets that eigenloss and eigeninit improves the convergence rate by up to a factor of 5, and that they reduce the cumulative long-term prediction error by up to a factor of 3. Such a finding points to the utility of incorporating similar schemes as an inductive bias in other physics-related deep learning approaches.
• Abstract（参考訳）: ニューラルネットワークのパラメータ行列の規則化は、深層モデルのトレーニングにおいてユビキタスである。 典型的な正規化アプローチでは、小さなランダム値を使ってウェイトを初期化し、ウェイトをペナライズしてスパーシティを促進する。 しかし、これらの広く使われている手法は特定のシナリオでは効果が低い可能性がある。 本稿では、エンコーダ、koopman演算子層、デコーダを含むkoopmanオートエンコーダモデルについて検討する。 これらのモデルは、解釈可能なダイナミクスと物理に関連した制約を組み込む能力で、物理学関連の問題に取り組むために設計され、研究されている。 しかし、既存の作業の大部分は標準の正規化プラクティスを採用している。 本研究では,物理関連設定に適した初期化とペナルティ方式により,クープマンオートエンコーダの強化を図る。 具体的には、特定の固有値分布から初期koopman演算子をサンプリングする"eigeninit"初期化スキームを提案する。 さらに,トレーニング中にkoopman演算子の固有値にペナルティを与える"eigenloss"ペナルティスキームを提案する。 これらのスキームは,2つの合成データ,すなわち駆動振子とシリンダーを過ぎる流れ,および海洋表面温度とサイクロン風場という実世界の問題に対して有効であることを示す。 これらのデータセットでは、eigenlossとeigeninitが収束率を最大5倍に向上させ、累積長期予測誤差を最大3倍に減少させることがわかった。 このような発見は、他の物理学関連のディープラーニングアプローチにおいて、帰納的バイアスとして同様のスキームを組み込むことの有用性を指摘する。

関連論文リスト

• Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
  モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。 クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。 KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
  論文  参考訳（メタデータ） (2023-10-04T07:14:43Z)
• Koopa: Learning Non-stationary Time Series Dynamics with Koopman Predictors [85.22004745984253]
  実世界の時系列は、深い予測モデルにとって大きな課題となる固有の非定常性によって特徴づけられる。 我々は、基礎となる時間変動力学を根本的に考慮する現代のクープマン理論を用いて、非定常時系列に取り組む。 階層的力学を学習する積み重ね可能なブロックからなる新しいクープマン予測器としてクーパを提案する。
  論文  参考訳（メタデータ） (2023-05-30T07:40:27Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Physics-Informed Koopman Network [14.203407036091555]
  我々は、クープマン演算子を表現するために、物理インフォームドニューラルネットワークにインスパイアされた新しいアーキテクチャを提案する。 大規模なトレーニングデータセットの必要性を低減できるだけでなく、クープマン固有関数の近似における高い有効性も維持できることを示す。
  論文  参考訳（メタデータ） (2022-11-17T08:57:57Z)
• Bias-Variance Tradeoffs in Single-Sample Binary Gradient Estimators [100.58924375509659]
  ストレートスルー (ST) 推定器はその単純さと効率性から人気を得た。 計算の複雑さを低く保ちながら、STよりも改善するいくつかの手法が提案された。 我々は、トレードオフを理解し、元来主張された特性を検証するために、これらの手法のバイアスとばらつきの理論解析を行う。
  論文  参考訳（メタデータ） (2021-10-07T15:16:07Z)
• Deep Identification of Nonlinear Systems in Koopman Form [0.0]
  本論文では,クープマンに基づく深部状態空間エンコーダを用いた非線形力学系の同定について述べる。 揚力モデル構造には入力-アフィンの定式化が考慮され, 完全状態と部分状態の両方に対処する。
  論文  参考訳（メタデータ） (2021-10-06T08:50:56Z)
• Stochastic Adversarial Koopman Model for Dynamical Systems [0.4061135251278187]
  本稿では、最近開発された逆コオプマンモデルを拡張し、コオプマンがエンコーダの潜在符号化の確率に適用する。 クープマンモデルの有効性はカオス, 流体力学, 燃焼, 反応拡散モデルにおいて異なる試験問題で示される。
  論文  参考訳（メタデータ） (2021-09-10T20:17:44Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Forecasting Sequential Data using Consistent Koopman Autoencoders [52.209416711500005]
  クープマン理論に関連する新しい物理学に基づく手法が導入された。 本稿では,既存の作業の多くと異なり,前方・後方のダイナミクスを生かした新しいコンシスタント・クープマン・オートエンコーダモデルを提案する。 このアプローチの鍵となるのは、一貫性のある力学と関連するクープマン作用素との相互作用を探索する新しい解析である。
  論文  参考訳（メタデータ） (2020-03-04T18:24:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。