論文の概要: Manifold meta-learning for reduced-complexity neural system identification

• arxiv url: http://arxiv.org/abs/2504.11811v1
• Date: Wed, 16 Apr 2025 06:49:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:38:09.015925
• Title: Manifold meta-learning for reduced-complexity neural system identification
• Title（参考訳）: 還元複雑神経系同定のためのマニフォールドメタラーニング
• Authors: Marco Forgione, Ankush Chakrabarty, Dario Piga, Matteo Rufolo, Alberto Bemporad,
• Abstract要約: 低次元多様体を発見するメタラーニングフレームワークを提案する。 この多様体は、関連する力学系のクラスによって生成される入力出力シーケンスのメタデータセットから学習される。 両レベルメタラーニングアプローチとは異なり,本手法では,学習多様体に直接データセットをマッピングする補助的ニューラルネットワークを用いる。
• 参考スコア（独自算出の注目度）: 1.0276024900942875
• License:
• Abstract: System identification has greatly benefited from deep learning techniques, particularly for modeling complex, nonlinear dynamical systems with partially unknown physics where traditional approaches may not be feasible. However, deep learning models often require large datasets and significant computational resources at training and inference due to their high-dimensional parameterizations. To address this challenge, we propose a meta-learning framework that discovers a low-dimensional manifold within the parameter space of an over-parameterized neural network architecture. This manifold is learned from a meta-dataset of input-output sequences generated by a class of related dynamical systems, enabling efficient model training while preserving the network's expressive power for the considered system class. Unlike bilevel meta-learning approaches, our method employs an auxiliary neural network to map datasets directly onto the learned manifold, eliminating the need for costly second-order gradient computations during meta-training and reducing the number of first-order updates required in inference, which could be expensive for large models. We validate our approach on a family of Bouc-Wen oscillators, which is a well-studied nonlinear system identification benchmark. We demonstrate that we are able to learn accurate models even in small-data scenarios.
• Abstract（参考訳）: システム同定は、特に従来のアプローチが実現不可能な部分的に未知の物理を持つ複雑な非線形力学系のモデリングにおいて、ディープラーニング技術から大きな恩恵を受けている。 しかし、ディープラーニングモデルは、高次元のパラメータ化のため、トレーニングや推論において大きなデータセットと重要な計算資源を必要とすることが多い。 この課題に対処するために、過パラメータ化されたニューラルネットワークアーキテクチャのパラメータ空間内の低次元多様体を発見するメタラーニングフレームワークを提案する。 この多様体は、関連する力学系のクラスによって生成される入力出力シーケンスのメタデータセットから学習され、考慮されたシステムクラスに対するネットワークの表現力を維持しながら、効率的なモデルトレーニングを可能にする。 両レベルメタラーニングアプローチとは異なり,本手法では,学習多様体に直接データセットをマッピングする補助的ニューラルネットワークを用いて,メタトレーニング中の2階勾配計算のコストを削減し,推論に必要な1階更新数を削減し,大規模モデルに費用がかかる可能性がある。 我々は、よく研究された非線形システム同定ベンチマークであるブーク-ウェン発振器の族に対するアプローチを検証する。 私たちは、小さなデータシナリオでも正確なモデルを学ぶことができることを実証しています。

関連論文リスト

• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• SINDyG: Sparse Identification of Nonlinear Dynamical Systems from Graph-Structured Data [0.27624021966289597]
  グラフ構造化データ(SINDyG)から動的システムのスパース同定法を開発した。 SINDyGはネットワーク構造をスパース回帰に組み込んで、基礎となるネットワーク力学を説明するモデルパラメータを識別する。 本実験は, ネットワーク力学の精度向上と簡易性を検証した。
  論文  参考訳（メタデータ） (2024-09-02T17:51:37Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Physics guided neural networks for modelling of non-linear dynamics [0.0]
  この研究は、ディープニューラルネットワークの中間層に部分的に既知の情報を注入することで、モデルの精度を向上し、モデルの不確実性を低減し、トレーニング中に収束性を向上させることを実証する。 これらの物理誘導ニューラルネットワークの価値は、非線形系理論においてよく知られた5つの方程式で表される様々な非線形力学系の力学を学習することによって証明されている。
  論文  参考訳（メタデータ） (2022-05-13T19:06:36Z)
• Deep transfer learning for system identification using long short-term memory neural networks [0.0]
  本稿では,パラメータの微調整と凍結という2種類のディープトランスファー学習を用いて,システム識別のためのデータと計算要件を削減することを提案する。 その結果,直接学習と比較して学習の10%から50%が高速化され,データや計算資源も節約されることがわかった。
  論文  参考訳（メタデータ） (2022-04-06T23:39:06Z)
• Bi-fidelity Modeling of Uncertain and Partially Unknown Systems using DeepONets [0.0]
  本稿では,複雑な物理系に対する双方向モデリング手法を提案する。 我々は、小さなトレーニングデータセットが存在する場合、真のシステムの応答と低忠実度応答の相違をモデル化する。 パラメトリック不確実性を持ち、部分的には未知なモデルシステムにアプローチを適用する。
  論文  参考訳（メタデータ） (2022-04-03T05:30:57Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。