論文の概要: Out-of-Domain Generalization in Dynamical Systems Reconstruction
- arxiv url: http://arxiv.org/abs/2402.18377v1
- Date: Wed, 28 Feb 2024 14:52:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 14:47:26.093541
- Title: Out-of-Domain Generalization in Dynamical Systems Reconstruction
- Title（参考訳）: 動的システム再構築における外部一般化
- Authors: Niclas G\"oring, Florian Hess, Manuel Brenner, Zahra Monfared, Daniel
Durstewitz
- Abstract要約: DSRの一般化に対処する形式的なフレームワークを提供する。
ブラックボックス DL 技術は,十分な構造的先行性を持たず,一般に一般化された DSR モデルを学ぶことができないことを示す。
- 参考スコア（独自算出の注目度）: 9.009190182849881
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In science we are interested in finding the governing equations, the
dynamical rules, underlying empirical phenomena. While traditionally scientific
models are derived through cycles of human insight and experimentation,
recently deep learning (DL) techniques have been advanced to reconstruct
dynamical systems (DS) directly from time series data. State-of-the-art
dynamical systems reconstruction (DSR) methods show promise in capturing
invariant and long-term properties of observed DS, but their ability to
generalize to unobserved domains remains an open challenge. Yet, this is a
crucial property we would expect from any viable scientific theory. In this
work, we provide a formal framework that addresses generalization in DSR. We
explain why and how out-of-domain (OOD) generalization (OODG) in DSR profoundly
differs from OODG considered elsewhere in machine learning. We introduce
mathematical notions based on topological concepts and ergodic theory to
formalize the idea of learnability of a DSR model. We formally prove that
black-box DL techniques, without adequate structural priors, generally will not
be able to learn a generalizing DSR model. We also show this empirically,
considering major classes of DSR algorithms proposed so far, and illustrate
where and why they fail to generalize across the whole phase space. Our study
provides the first comprehensive mathematical treatment of OODG in DSR, and
gives a deeper conceptual understanding of where the fundamental problems in
OODG lie and how they could possibly be addressed in practice.
- Abstract（参考訳）: 科学では、制御方程式、動的規則、基礎となる経験的現象を見つけることに興味があります。
従来の科学的モデルは人間の洞察と実験のサイクルから導かれるが、最近のディープラーニング(DL)技術は時系列データから直接動的システム(DS)を再構築するために進歩している。
最先端の動的システム再構成(DSR)手法は、観測されたDSの不変性や長期的な特性を捉えることを約束している。
しかし、これはいかなる科学的理論にも期待できる重要な性質である。
本研究では,dsrの一般化に対応する形式的フレームワークを提案する。
我々は、DSRにおけるOOD(out-of-domain)一般化が、機械学習において他で考えられるOODGと大きく異なる理由と理由を説明する。
我々は,dsrモデルの学習可能性の概念を定式化するために,位相概念とエルゴード理論に基づく数学的概念を導入する。
ブラックボックス DL 技術は,構造的前提を十分に満たさないが,一般に一般化 DSR モデルを学ぶことはできないことを正式に証明する。
また、これまでに提案されたDSRアルゴリズムの主要なクラスを考慮し、位相空間全体の一般化に失敗した理由を実証的に示す。
本研究は,DSRにおけるOODGの包括的数学的治療であり,OODGの根本的問題がどこにあるのか,実際にどのように対処できるかをより深く理解するものである。
関連論文リスト
- A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
画像復元(IR)とは、ノイズ、ぼかし、気象効果などの劣化を除去しながら、画像の視覚的品質を改善する過程である。
従来のIR手法は、一般的に特定の種類の劣化をターゲットとしており、複雑な歪みを伴う現実のシナリオにおいて、その効果を制限している。
オールインワン画像復元(AiOIR)パラダイムが登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供する。
論文 参考訳（メタデータ） (2024-10-19T11:11:09Z) - Towards a theory of learning dynamics in deep state space models [12.262490032020832]
状態空間モデル(SSM)は多くの長いシーケンスモデリングタスクにおいて顕著な経験的性能を示した。
この研究は、ディープステート空間モデルにおける動的学習の理論への一歩である。
論文 参考訳（メタデータ） (2024-07-10T00:01:56Z) - Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。
我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。
我々は、理論的な主張を合成データ実験で裏付ける。
論文 参考訳（メタデータ） (2024-06-01T18:01:03Z) - Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。
ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。
このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
論文 参考訳（メタデータ） (2024-05-24T17:19:57Z) - Learning the Topology and Behavior of Discrete Dynamical Systems [30.424671907681688]
ブラックボックスシステムの振る舞いと基盤となるトポロジを学習する問題に焦点をあてる。
一般に、この学習問題は計算的に難解であることが示される。
この結果は、離散力学系の挙動とトポロジーの両方を学ぶための理論的基盤を提供する。
論文 参考訳（メタデータ） (2024-02-18T19:31:26Z) - Discovering Interpretable Physical Models using Symbolic Regression and
Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。
DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。
実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-10-10T13:23:05Z) - Learning Neural Constitutive Laws From Motion Observations for
Generalizable PDE Dynamics [97.38308257547186]
多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。
PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。
そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2023-04-27T17:42:24Z) - Towards Out-Of-Distribution Generalization: A Survey [46.329995334444156]
アウト・オブ・ディストリビューションの一般化は、機械学習研究の新たなトピックである。
本論文は,OODの一般化に関する総合的,体系的な最初のレビューである。
論文 参考訳（メタデータ） (2021-08-31T05:28:42Z) - Generalized Real-World Super-Resolution through Adversarial Robustness [107.02188934602802]
本稿では,実世界のSRに取り組むために,敵攻撃の一般化能力を活用したロバスト超解法を提案する。
我々の新しいフレームワークは、現実世界のSR手法の開発においてパラダイムシフトをもたらす。
単一のロバストモデルを使用することで、実世界のベンチマークで最先端の特殊な手法より優れています。
論文 参考訳（メタデータ） (2021-08-25T22:43:20Z) - Physics-Guided Deep Learning for Dynamical Systems: A survey [5.733401663293044]
伝統的な物理学に基づくモデルは解釈可能であるが、厳密な仮定に依存している。
ディープラーニングは、複雑なパターンを効率的に認識し、非線形力学をエミュレートするための新しい代替手段を提供する。
物理学に基づくモデリングと最先端のDLモデルの両方を最大限に活用して、科学的な問題を解決することを目指している。
論文 参考訳（メタデータ） (2021-07-02T20:59:03Z) - Modern Koopman Theory for Dynamical Systems [2.5889588665122725]
現代のクープマン作用素論を概観し、最近の理論とアルゴリズムの発展について述べる。
また、急速に成長する機械学習分野における重要な進歩と課題についても論じる。
論文 参考訳（メタデータ） (2021-02-24T06:18:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。