論文の概要: Stable Invariant Models via Koopman Spectra
- arxiv url: http://arxiv.org/abs/2207.07475v1
- Date: Fri, 15 Jul 2022 13:42:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-18 14:09:58.953754
- Title: Stable Invariant Models via Koopman Spectra
- Title(参考訳): クープマンスペクトルによる安定不変モデル
- Authors: Takuya Konishi, Yoshinobu Kawahara
- Abstract要約: 重み付きモデルは、現代のニューラルネットワークの発展に注目を集めている。
安定不変モデル (SIM) は、安定下でのDECを原理的に近似する新しいディープモデルのクラスである。
いくつかの学習課題において,DECに対してSIMが比較あるいは優れた性能を発揮することを示す。
- 参考スコア(独自算出の注目度): 10.421888338592646
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Weight-tied models have attracted attention in the modern development of
neural networks. The deep equilibrium model (DEQ) represents infinitely deep
neural networks with weight-tying, and recent studies have shown the potential
of this type of approach. DEQs are needed to iteratively solve root-finding
problems in training and are built on the assumption that the underlying
dynamics determined by the models converge to a fixed point. In this paper, we
present the stable invariant model (SIM), a new class of deep models that in
principle approximates DEQs under stability and extends the dynamics to more
general ones converging to an invariant set (not restricted in a fixed point).
The key ingredient in deriving SIMs is a representation of the dynamics with
the spectra of the Koopman and Perron--Frobenius operators. This perspective
approximately reveals stable dynamics with DEQs and then derives two variants
of SIMs. We also propose an implementation of SIMs that can be learned in the
same way as feedforward models. We illustrate the empirical performance of SIMs
with experiments and demonstrate that SIMs achieve comparative or superior
performance against DEQs in several learning tasks.
- Abstract(参考訳): 重み付きモデルが現代のニューラルネットワークの発展に注目を集めている。
ディープ均衡モデル(DEQ)は、重み付けを伴う無限に深いニューラルネットワークを表現し、最近の研究ではこの種のアプローチの可能性を示している。
deqは、トレーニングにおけるルート探索の問題を反復的に解くために必要であり、モデルによって決定される基盤となるダイナミクスが不動点に収束するという仮定に基づいている。
本稿では,安定性の下でdeqsを近似し,不変集合(不動点に制限されない)に収束するより一般的なモデルにダイナミクスを拡張できる新しいディープモデルのクラスであるstable invariant model(sim)を提案する。
SIMを導出する鍵となる要素は、クープマンとペロン-フロベニウス作用素のスペクトルを持つ力学の表現である。
この視点はdeqsの安定なダイナミクスを概ね示し、simsの2つの変種を導出する。
また,フィードフォワードモデルと同じ方法で学習可能なSIMの実装を提案する。
実験によりSIMの実証的な性能を実証し,複数の学習課題において,SIMがDECに対して比較あるいは優れた性能を達成することを示す。
関連論文リスト
- Tasks Makyth Models: Machine Learning Assisted Surrogates for Tipping
Points [0.0]
本稿では,複雑なシステムの創発的挙動におけるヒント点を検出するための機械学習支援フレームワークを提案する。
我々は、異なるスケールで創発的ダイナミクスのための縮小次モデルを構築した。
異なるモデルの使用と、それらを学ぶための努力とは対照的です。
論文 参考訳(メタデータ) (2023-09-25T17:58:23Z) - Distributed Bayesian Learning of Dynamic States [65.7870637855531]
提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。
逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
論文 参考訳(メタデータ) (2022-12-05T19:40:17Z) - State-driven Implicit Modeling for Sparsity and Robustness in Neural
Networks [3.604879434384177]
SIM(State-driven Implicit Modeling)と呼ばれる暗黙的モデルをトレーニングするための新しいアプローチを提案する。
SIMは内部の状態と出力をベースラインモデルと一致させ、コストのかかる後方計算を回避する。
本稿では,データセット上でトレーニングされたベースラインモデルの空間性とロバスト性を大幅に向上するためにSIMアプローチを適用する方法を示す。
論文 参考訳(メタデータ) (2022-09-19T23:58:48Z) - Neural Operator with Regularity Structure for Modeling Dynamics Driven
by SPDEs [70.51212431290611]
偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。
本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。
動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
論文 参考訳(メタデータ) (2022-04-13T08:53:41Z) - Likelihood-Free Inference in State-Space Models with Unknown Dynamics [71.94716503075645]
本研究では、状態空間モデルにおいて、観測をシミュレートすることしかできず、遷移ダイナミクスが不明な潜在状態の推測と予測を行う手法を提案する。
本研究では,限られた数のシミュレーションで状態予測と状態予測を行う手法を提案する。
論文 参考訳(メタデータ) (2021-11-02T12:33:42Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳(メタデータ) (2021-10-26T14:26:25Z) - Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。
本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。
この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
論文 参考訳(メタデータ) (2021-06-28T00:14:11Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Physical invariance in neural networks for subgrid-scale scalar flux
modeling [5.333802479607541]
物理インフォームドニューラルネットワーク(NN)を用いた3次元乱流非圧縮性流れのサブグリッドスケールスカラーフラックスをモデル化するための新しい戦略を提案する。
提案した変換不変NNモデルは、純粋にデータ駆動モデルとパラメトリックなサブグリッドスケールモデルの両方より優れていることを示す。
論文 参考訳(メタデータ) (2020-10-09T16:09:54Z) - Incorporating Symmetry into Deep Dynamics Models for Improved
Generalization [24.363954435050264]
本稿では,畳み込みニューラルネットワークに対称性を組み込むことにより,精度の向上と一般化を提案する。
我々のモデルは、対称性群変換による分布シフトに対して理論的かつ実験的に堅牢である。
画像やテキストアプリケーションと比較して、我々の研究は、高次元システムに同変ニューラルネットワークを適用するための重要なステップである。
論文 参考訳(メタデータ) (2020-02-08T01:28:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。