論文の概要: Stable Invariant Models via Koopman Spectra

• arxiv url: http://arxiv.org/abs/2207.07475v2
• Date: Mon, 19 Jun 2023 08:09:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 05:57:07.876729
• Title: Stable Invariant Models via Koopman Spectra
• Title（参考訳）: クープマンスペクトルによる安定不変モデル
• Authors: Takuya Konishi, Yoshinobu Kawahara
• Abstract要約: 重み付きモデルは、現代のニューラルネットワークの発展に注目を集めている。 安定不変モデル (SIM) は、安定下でのDECを原理的に近似する新しいディープモデルのクラスである。 いくつかの学習課題において,DECに対してSIMが比較あるいは優れた性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 10.421888338592646
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Weight-tied models have attracted attention in the modern development of neural networks. The deep equilibrium model (DEQ) represents infinitely deep neural networks with weight-tying, and recent studies have shown the potential of this type of approach. DEQs are needed to iteratively solve root-finding problems in training and are built on the assumption that the underlying dynamics determined by the models converge to a fixed point. In this paper, we present the stable invariant model (SIM), a new class of deep models that in principle approximates DEQs under stability and extends the dynamics to more general ones converging to an invariant set (not restricted in a fixed point). The key ingredient in deriving SIMs is a representation of the dynamics with the spectra of the Koopman and Perron--Frobenius operators. This perspective approximately reveals stable dynamics with DEQs and then derives two variants of SIMs. We also propose an implementation of SIMs that can be learned in the same way as feedforward models. We illustrate the empirical performance of SIMs with experiments and demonstrate that SIMs achieve comparative or superior performance against DEQs in several learning tasks.
• Abstract（参考訳）: 重み付きモデルが現代のニューラルネットワークの発展に注目を集めている。 ディープ均衡モデル(DEQ)は、重み付けを伴う無限に深いニューラルネットワークを表現し、最近の研究ではこの種のアプローチの可能性を示している。 deqは、トレーニングにおけるルート探索の問題を反復的に解くために必要であり、モデルによって決定される基盤となるダイナミクスが不動点に収束するという仮定に基づいている。 本稿では,安定性の下でdeqsを近似し,不変集合(不動点に制限されない)に収束するより一般的なモデルにダイナミクスを拡張できる新しいディープモデルのクラスであるstable invariant model(sim)を提案する。 SIMを導出する鍵となる要素は、クープマンとペロン-フロベニウス作用素のスペクトルを持つ力学の表現である。 この視点はdeqsの安定なダイナミクスを概ね示し、simsの2つの変種を導出する。 また,フィードフォワードモデルと同じ方法で学習可能なSIMの実装を提案する。 実験によりSIMの実証的な性能を実証し,複数の学習課題において,SIMがDECに対して比較あるいは優れた性能を達成することを示す。

関連論文リスト

• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Towards Efficient Modelling of String Dynamics: A Comparison of State Space and Koopman based Deep Learning Methods [8.654571696634825]
  State Space Models (SSM) と Koopman に基づくディープラーニング手法は、線形および非線形の剛弦の力学をモデル化する。 以上の結果から,提案したクープマンモデルが,長周期モデリングにおける非線形ケースにおいて,他の既存手法と同等以上の性能を示すことが示唆された。 本研究は、これらの手法と過去の手法の比較概要を提供し、モデル改善のための革新的な戦略を導入することにより、力学系の物理モデリングに関する洞察を貢献する。
  論文  参考訳（メタデータ） (2024-08-29T15:55:27Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Tasks Makyth Models: Machine Learning Assisted Surrogates for Tipping Points [0.0]
  本稿では,複雑なシステムの創発的挙動におけるヒント点を検出するための機械学習支援フレームワークを提案する。 我々は、異なるスケールで創発的ダイナミクスのための縮小次モデルを構築した。 異なるモデルの使用と、それらを学ぶための努力とは対照的です。
  論文  参考訳（メタデータ） (2023-09-25T17:58:23Z)
• Distributed Bayesian Learning of Dynamic States [65.7870637855531]
  提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。 逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
  論文  参考訳（メタデータ） (2022-12-05T19:40:17Z)
• State-driven Implicit Modeling for Sparsity and Robustness in Neural Networks [3.604879434384177]
  SIM(State-driven Implicit Modeling)と呼ばれる暗黙的モデルをトレーニングするための新しいアプローチを提案する。 SIMは内部の状態と出力をベースラインモデルと一致させ、コストのかかる後方計算を回避する。 本稿では,データセット上でトレーニングされたベースラインモデルの空間性とロバスト性を大幅に向上するためにSIMアプローチを適用する方法を示す。
  論文  参考訳（メタデータ） (2022-09-19T23:58:48Z)
• Likelihood-Free Inference in State-Space Models with Unknown Dynamics [71.94716503075645]
  本研究では、状態空間モデルにおいて、観測をシミュレートすることしかできず、遷移ダイナミクスが不明な潜在状態の推測と予測を行う手法を提案する。 本研究では,限られた数のシミュレーションで状態予測と状態予測を行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T12:33:42Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Physical invariance in neural networks for subgrid-scale scalar flux modeling [5.333802479607541]
  物理インフォームドニューラルネットワーク(NN)を用いた3次元乱流非圧縮性流れのサブグリッドスケールスカラーフラックスをモデル化するための新しい戦略を提案する。 提案した変換不変NNモデルは、純粋にデータ駆動モデルとパラメトリックなサブグリッドスケールモデルの両方より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-09T16:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。