論文の概要: Out-of-Domain Generalization in Dynamical Systems Reconstruction
- arxiv url: http://arxiv.org/abs/2402.18377v1
- Date: Wed, 28 Feb 2024 14:52:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 14:47:26.093541
- Title: Out-of-Domain Generalization in Dynamical Systems Reconstruction
- Title(参考訳): 動的システム再構築における外部一般化
- Authors: Niclas G\"oring, Florian Hess, Manuel Brenner, Zahra Monfared, Daniel
Durstewitz
- Abstract要約: DSRの一般化に対処する形式的なフレームワークを提供する。
ブラックボックス DL 技術は,十分な構造的先行性を持たず,一般に一般化された DSR モデルを学ぶことができないことを示す。
- 参考スコア(独自算出の注目度): 9.009190182849881
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In science we are interested in finding the governing equations, the
dynamical rules, underlying empirical phenomena. While traditionally scientific
models are derived through cycles of human insight and experimentation,
recently deep learning (DL) techniques have been advanced to reconstruct
dynamical systems (DS) directly from time series data. State-of-the-art
dynamical systems reconstruction (DSR) methods show promise in capturing
invariant and long-term properties of observed DS, but their ability to
generalize to unobserved domains remains an open challenge. Yet, this is a
crucial property we would expect from any viable scientific theory. In this
work, we provide a formal framework that addresses generalization in DSR. We
explain why and how out-of-domain (OOD) generalization (OODG) in DSR profoundly
differs from OODG considered elsewhere in machine learning. We introduce
mathematical notions based on topological concepts and ergodic theory to
formalize the idea of learnability of a DSR model. We formally prove that
black-box DL techniques, without adequate structural priors, generally will not
be able to learn a generalizing DSR model. We also show this empirically,
considering major classes of DSR algorithms proposed so far, and illustrate
where and why they fail to generalize across the whole phase space. Our study
provides the first comprehensive mathematical treatment of OODG in DSR, and
gives a deeper conceptual understanding of where the fundamental problems in
OODG lie and how they could possibly be addressed in practice.
- Abstract(参考訳): 科学では、制御方程式、動的規則、基礎となる経験的現象を見つけることに興味があります。
従来の科学的モデルは人間の洞察と実験のサイクルから導かれるが、最近のディープラーニング(DL)技術は時系列データから直接動的システム(DS)を再構築するために進歩している。
最先端の動的システム再構成(DSR)手法は、観測されたDSの不変性や長期的な特性を捉えることを約束している。
しかし、これはいかなる科学的理論にも期待できる重要な性質である。
本研究では,dsrの一般化に対応する形式的フレームワークを提案する。
我々は、DSRにおけるOOD(out-of-domain)一般化が、機械学習において他で考えられるOODGと大きく異なる理由と理由を説明する。
我々は,dsrモデルの学習可能性の概念を定式化するために,位相概念とエルゴード理論に基づく数学的概念を導入する。
ブラックボックス DL 技術は,構造的前提を十分に満たさないが,一般に一般化 DSR モデルを学ぶことはできないことを正式に証明する。
また、これまでに提案されたDSRアルゴリズムの主要なクラスを考慮し、位相空間全体の一般化に失敗した理由を実証的に示す。
本研究は,DSRにおけるOODGの包括的数学的治療であり,OODGの根本的問題がどこにあるのか,実際にどのように対処できるかをより深く理解するものである。
関連論文リスト
- Learning World Models With Hierarchical Temporal Abstractions: A Probabilistic Perspective [2.61072980439312]
内部世界モデルを開発するためのフォーマリズムの開発は、人工知能と機械学習の分野における重要な研究課題である。
この論文は、状態空間モデルを内部世界モデルとして広く用いられることによるいくつかの制限を識別する。
形式主義におけるモデルの構造は、信念の伝播を用いた正確な確率的推論を促進するとともに、時間を通してのバックプロパゲーションによるエンドツーエンドの学習を促進する。
これらの形式主義は、世界の状態における不確実性の概念を統合し、現実世界の性質をエミュレートし、その予測の信頼性を定量化する能力を向上させる。
論文 参考訳(メタデータ) (2024-04-24T12:41:04Z) - Learning the Topology and Behavior of Discrete Dynamical Systems [30.424671907681688]
ブラックボックスシステムの振る舞いと基盤となるトポロジを学習する問題に焦点をあてる。
一般に、この学習問題は計算的に難解であることが示される。
この結果は、離散力学系の挙動とトポロジーの両方を学ぶための理論的基盤を提供する。
論文 参考訳(メタデータ) (2024-02-18T19:31:26Z) - Discovering Interpretable Physical Models using Symbolic Regression and
Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。
DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。
実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-10-10T13:23:05Z) - Learning Neural Constitutive Laws From Motion Observations for
Generalizable PDE Dynamics [97.38308257547186]
多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。
PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。
そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
論文 参考訳(メタデータ) (2023-04-27T17:42:24Z) - ASR: Attention-alike Structural Re-parameterization [56.88192537044364]
本稿では,アテンション機構の有効性を享受しながら,与えられたネットワークに対してSRPを実現するための,シンプルなアテンション型構造的再パラメータ化(ASR)を提案する。
本稿では,統計的観点から広範囲にわたる実験を行い,Stripe Observationという興味深い現象を発見し,チャネル注意値が訓練中に一定のベクトルに素早く接近することを明らかにする。
論文 参考訳(メタデータ) (2023-04-13T08:52:34Z) - Towards Out-Of-Distribution Generalization: A Survey [46.329995334444156]
アウト・オブ・ディストリビューションの一般化は、機械学習研究の新たなトピックである。
本論文は,OODの一般化に関する総合的,体系的な最初のレビューである。
論文 参考訳(メタデータ) (2021-08-31T05:28:42Z) - Generalized Real-World Super-Resolution through Adversarial Robustness [107.02188934602802]
本稿では,実世界のSRに取り組むために,敵攻撃の一般化能力を活用したロバスト超解法を提案する。
我々の新しいフレームワークは、現実世界のSR手法の開発においてパラダイムシフトをもたらす。
単一のロバストモデルを使用することで、実世界のベンチマークで最先端の特殊な手法より優れています。
論文 参考訳(メタデータ) (2021-08-25T22:43:20Z) - Physics-Guided Deep Learning for Dynamical Systems: A survey [5.733401663293044]
伝統的な物理学に基づくモデルは解釈可能であるが、厳密な仮定に依存している。
ディープラーニングは、複雑なパターンを効率的に認識し、非線形力学をエミュレートするための新しい代替手段を提供する。
物理学に基づくモデリングと最先端のDLモデルの両方を最大限に活用して、科学的な問題を解決することを目指している。
論文 参考訳(メタデータ) (2021-07-02T20:59:03Z) - Modern Koopman Theory for Dynamical Systems [2.5889588665122725]
現代のクープマン作用素論を概観し、最近の理論とアルゴリズムの発展について述べる。
また、急速に成長する機械学習分野における重要な進歩と課題についても論じる。
論文 参考訳(メタデータ) (2021-02-24T06:18:16Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。