論文の概要: On the Generalization Capacities of Neural Controlled Differential Equations

• arxiv url: http://arxiv.org/abs/2305.16791v2
• Date: Mon, 29 May 2023 08:15:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 10:57:26.059988
• Title: On the Generalization Capacities of Neural Controlled Differential Equations
• Title（参考訳）: 神経制御微分方程式の一般化容量について
• Authors: Linus Bleistein, Agathe Guilloux
• Abstract要約: 本稿では,不規則にサンプリングされた時系列のサンプルから結果を予測することを目標とする教師付き学習環境について考察する。 この枠組みでは、時系列は観測されない連続経路の離散化であり、結果は未知のベクトル場を持つ制御微分方程式を通してこの経路に依存する。 近似バイアスは、浅いニューラルネットワークによる生成モデルを定義するリプシッツ関数の近似誤差と直接関係していることを示す。
• 参考スコア（独自算出の注目度）: 0.799536002595393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider a supervised learning setup in which the goal is to predicts an outcome from a sample of irregularly sampled time series using Neural Controlled Differential Equations (Kidger, Morrill, et al. 2020). In our framework, the time series is a discretization of an unobserved continuous path, and the outcome depends on this path through a controlled differential equation with unknown vector field. Learning with discrete data thus induces a discretization bias, which we precisely quantify. Using theoretical results on the continuity of the flow of controlled differential equations, we show that the approximation bias is directly related to the approximation error of a Lipschitz function defining the generative model by a shallow neural network. By combining these result with recent work linking the Lipschitz constant of neural networks to their generalization capacities, we upper bound the generalization gap between the expected loss attained by the empirical risk minimizer and the expected loss of the true predictor.
• Abstract（参考訳）: 神経制御微分方程式(kidger, morrill, et al. 2020)を用いて,不規則にサンプリングされた時系列のサンプルから結果を予測することを目標とする教師あり学習構成を考える。 この枠組みでは、時系列は観測されない連続経路の離散化であり、結果は未知のベクトル場を持つ制御微分方程式を通してこの経路に依存する。 離散データによる学習は離散化バイアスを生じさせ、それを正確に定量化する。 制御された微分方程式の流れの連続性に関する理論的結果を用いて、近似バイアスは浅いニューラルネットワークによって生成モデルを定義するリプシッツ関数の近似誤差と直接関係していることを示す。 これらの結果とニューラルネットワークのリプシッツ定数を一般化容量に結びつける最近の研究を組み合わせることで、経験的リスク最小化器によって達成された期待損失と真の予測器の期待損失との一般化ギャップを上限とした。

関連論文リスト

• Understanding Forgetting in Continual Learning with Linear Regression [21.8755265936716]
  連続的な学習は、複数のタスクを逐次学習することに焦点を当てており、近年大きな注目を集めている。 線形回帰モデルにおいて, 線形回帰モデルをグラディエント・ディッセンス(Gradient Descent)を用いて, 忘れることの一般的な理論的解析を行う。 十分なデータサイズを考慮に入れれば、集団データ共分散行列の固有値が大きいタスクが後で訓練されるようなシーケンス内のタスクの配置は、忘れが増す傾向にあることを実証する。
  論文  参考訳（メタデータ） (2024-05-27T18:33:37Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• Variational Bayesian Neural Networks via Resolution of Singularities [1.2183405753834562]
  ベイズニューラルネットワーク(BNN)における変分推論の理論と実践に関連する特異学習理論(SLT)の重要性を提唱する。 本研究では, 下流予測性能, テストログ予測密度, 変動目標との相違点を取り巻く混乱を補う。 我々は,SLT補正形式を特異な後部分布に用いて,変分族自体の設計を知らせる。
  論文  参考訳（メタデータ） (2023-02-13T00:32:49Z)
• Theoretical analysis of deep neural networks for temporally dependent observations [1.6752182911522522]
  非線形時系列データのモデリングにおけるディープニューラルネットワークの理論的性質について検討する。 結果は、様々な数値シミュレーション設定とマクロ経済データセットへの応用を通してサポートされる。
  論文  参考訳（メタデータ） (2022-10-20T18:56:37Z)
• On the generalization of learning algorithms that do not converge [54.122745736433856]
  ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。 最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
  論文  参考訳（メタデータ） (2022-08-16T21:22:34Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
  平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。 平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
  論文  参考訳（メタデータ） (2020-08-21T18:00:50Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Equivariant online predictions of non-stationary time series [0.0]
  モデル不特定条件下での統計的手法の理論的予測特性を解析する。 ランダムウォーク・ダイナミック・リニア・モデル(ランダムウォーク・ダイナミック・リニア・モデル)の特定のクラスが、正確なミニマックス予測密度を生成することを示す。
  論文  参考訳（メタデータ） (2019-11-20T01:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。