論文の概要: Rademacher Complexity of Neural ODEs via Chen-Fliess Series
- arxiv url: http://arxiv.org/abs/2401.16655v3
- Date: Mon, 20 May 2024 12:46:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 23:30:28.566269
- Title: Rademacher Complexity of Neural ODEs via Chen-Fliess Series
- Title（参考訳）: チェンフライス級数によるニューラルオードのラデマッハ複素度
- Authors: Joshua Hanson, Maxim Raginsky,
- Abstract要約: 連続深さのニューラルODEモデルは、どのようにして単層無限幅ネットとしてフレーム化できるかを示す。
ODEモデルのRademacher複雑性に対するコンパクト表現を導出する。
- 参考スコア（独自算出の注目度）: 7.734726150561087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show how continuous-depth neural ODE models can be framed as single-layer, infinite-width nets using the Chen--Fliess series expansion for nonlinear ODEs. In this net, the output ``weights'' are taken from the signature of the control input -- a tool used to represent infinite-dimensional paths as a sequence of tensors -- which comprises iterated integrals of the control input over a simplex. The ``features'' are taken to be iterated Lie derivatives of the output function with respect to the vector fields in the controlled ODE model. The main result of this work applies this framework to derive compact expressions for the Rademacher complexity of ODE models that map an initial condition to a scalar output at some terminal time. The result leverages the straightforward analysis afforded by single-layer architectures. We conclude with some examples instantiating the bound for some specific systems and discuss potential follow-up work.
- Abstract（参考訳）: 本稿では, 非線形ODEに対するChen-Fliess級数展開を用いて, 連続深度ニューラルODEモデルを単一層無限幅ネットとしてフレーム化する方法を示す。このネットでは, 制御入力のシグネチャから出力 `‘weights'' を抽出し, 無限次元パスをテンソルの列として表現するツールであるテンソルの列から, 制御入力の繰り返し積分を構成する。
`features'' は、制御されたODEモデルのベクトル場に関して出力関数のリー微分を反復化したものである。
この研究の主な成果は、初期条件をある終端時間にスカラー出力にマッピングするODEモデルのラデマッハ複雑性に対するコンパクトな表現を導出するために、このフレームワークを適用することである。
その結果、単層アーキテクチャで得られる素直な分析が活用される。
いくつかの特定のシステムのバウンダリをインスタンス化して、潜在的なフォローアップ作業について議論する例で締めくくります。
関連論文リスト
- On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - From NeurODEs to AutoencODEs: a mean-field control framework for
width-varying Neural Networks [68.8204255655161]
本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。
損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
論文 参考訳（メタデータ） (2023-07-05T13:26:17Z) - A graph convolutional autoencoder approach to model order reduction for
parametrized PDEs [0.8192907805418583]
本稿では,グラフ畳み込みオートエンコーダ(GCA-ROM)に基づく非線形モデルオーダー削減のためのフレームワークを提案する。
我々は、GNNを利用して、圧縮された多様体を符号化し、パラメタライズされたPDEの高速な評価を可能にする、非侵襲的でデータ駆動の非線形還元手法を開発した。
論文 参考訳（メタデータ） (2023-05-15T12:01:22Z) - Designing Universal Causal Deep Learning Models: The Case of
Infinite-Dimensional Dynamical Systems from Stochastic Analysis [3.5450828190071655]
因果作用素(COs)は、現代の分析において中心的な役割を果たす。
COを近似できるディープラーニング(DL)モデルを設計するための標準的なフレームワークはまだ存在しない。
本稿では、DLモデル設計フレームワークを導入することにより、このオープンな問題に対する「幾何学的認識」ソリューションを提案する。
論文 参考訳（メタデータ） (2022-10-24T14:43:03Z) - Git Re-Basin: Merging Models modulo Permutation Symmetries [3.5450828190071655]
提案手法は,大規模ネットワークに適合する簡単なアルゴリズムを実例で示す。
我々は、独立に訓練されたモデル間のゼロモード接続の最初のデモ(私たちの知る限り)を実演する。
また、線形モード接続仮説の欠点についても論じる。
論文 参考訳（メタデータ） (2022-09-11T10:44:27Z) - A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。
直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。
この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
論文 参考訳（メタデータ） (2021-02-18T19:39:22Z) - On the eigenvector bias of Fourier feature networks: From regression to
solving multi-scale PDEs with physics-informed neural networks [0.0]
ニューラルネットワーク(PINN)は、目標関数を近似する場合には、高周波またはマルチスケールの特徴を示す。
マルチスケールなランダムな観測機能を備えた新しいアーキテクチャを構築し、そのような座標埋め込み層が堅牢で正確なPINNモデルにどのように結びつくかを正当化します。
論文 参考訳（メタデータ） (2020-12-18T04:19:30Z) - Go with the Flow: Adaptive Control for Neural ODEs [10.265713480189484]
ニューラル制御ODE(N-CODE)と呼ばれる新しいモジュールについて述べる。
N-CODEモジュールは、初期または現在のアクティベーション状態からトレーニング可能なマップによって制御される動的変数である。
単一モジュールは、適応的に神経表現を駆動する非自律フロー上の分布を学ぶのに十分である。
論文 参考訳（メタデータ） (2020-06-16T22:21:15Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。