論文の概要: Constructive interpolation and generalization rates for neural ODEs: a control perspective
- arxiv url: http://arxiv.org/abs/2606.00469v2
- Date: Fri, 05 Jun 2026 23:48:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:04.673279
- Title: Constructive interpolation and generalization rates for neural ODEs: a control perspective
- Title(参考訳): ニューラル・オードの構成補間と一般化率:制御の観点から
- Authors: Antonio Álvarez-López, Lorenzo Liverani, Enrique Zuazua,
- Abstract要約: 制御理論の観点から,ニューラルネットワーク(NODE)を用いた教師付き回帰について検討した。
我々は、定数パラメータと明示的な時間依存性を持つ、広く使われている非自律モデルのクラスに焦点を当てる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We study supervised regression with neural ODEs (NODEs) from a control-theoretic perspective to derive explicit population-risk bounds. We focus on a widely used class of non-autonomous models with constant parameters and explicit time dependence, which we call semi-autonomous NODEs (SA-NODEs). We constructively prove that SA-NODEs are capable of \emph{exact} interpolation of admissible finite datasets, and even satisfy a stronger property that we call \emph{simultaneous cell controllability} (SCC): their flows can map prescribed disjoint cells into arbitrarily small target balls. This property is the mechanism that upgrades interpolation into quantitative generalization, by allowing SA-NODEs to emulate piecewise-constant nonparametric estimators. Consequently, our risk bounds recover the rates of histogram and nearest-neighbor estimators, provided the network width satisfies a conservative scaling with the sample size. Numerical experiments show that trained SA-NODEs achieve competitive -- often lower -- test errors than these baselines. Finally, we show that the explicit time dependence is essential. Although two-layer autonomous NODEs can interpolate geometrically nondegenerate datasets, structural obstructions prevent them from achieving SCC. These limitations, further confirmed numerically, support the view that SA-NODEs provide a minimal effective architecture for learning.
- Abstract(参考訳): 制御理論の観点から,ニューラル・オード(NODE)を用いた教師付き回帰について検討し,明示的な集団リスク境界を導出する。
我々は,半自律的NODE (SA-NODEs) と呼ばれる定数パラメータと明示的な時間依存性を持つ,広く使われている非自律的モデルのクラスに焦点をあてる。
我々は,SA-NODE が許容可能な有限データセットの 'emph{exact} 補間が可能であること,さらには 'emph{simultaneous cell controllability} (SCC) と呼ばれる強い性質を満足できることを証明する。
この性質は、補間を定量的一般化にアップグレードするメカニズムであり、SA-NODEsは断片的にコンスタントな非パラメトリック推定器をエミュレートすることができる。
その結果, ネットワーク幅が標本サイズと保守的なスケーリングを満足するならば, ヒストグラムと最近傍推定器の速度を回復させることができた。
数値実験により、訓練されたSA-NODEは、これらのベースラインよりも競争力(しばしば低い)テストエラーを達成することが示された。
最後に、明示的な時間依存が不可欠であることを示す。
2層の自律的NODEは幾何学的に非退化データセットを補間することができるが、構造的障害はSCCを達成するのを妨げている。
これらの制限はさらに数値的に確認され、SA-NODEは学習に最小限の効果的なアーキテクチャを提供するという見解を支持している。
関連論文リスト
- Posterior Contraction Rates for Sparse Kolmogorov-Arnold Networks in Anisotropic Besov Spaces [4.687937508271486]
スパイク・アンド・スラブ型スペーサーを有するスパルスベイズカンが, ほぼ最小の後方収縮を達成できることを示す。
特に収縮速度は、下層の関数の内在的な異方的滑らかさに依存する。
論文 参考訳(メタデータ) (2026-05-12T07:14:08Z) - PAC-Bayes Bounds for Gibbs Posteriors via Singular Learning Theory [10.93258787701145]
ギブス後方に対する明示的非漸近性PAC-Bayes一般化境界を導出する。
古典的な最悪ケースの複雑性境界は、大数の均一な法則に基づいているのとは異なり、我々の分析は、平均的な後続のリスク境界をもたらす。
論文 参考訳(メタデータ) (2026-04-19T03:00:18Z) - Robust Regression with Adaptive Contamination in Response: Optimal Rates and Computational Barriers [65.58071581164043]
本研究では, 共変剤を清潔にし, 応答を適応的に劣化させる汚染モデルの下で, 頑健な回帰について検討する。
本研究では,ハマー汚染下で達成可能なものよりも優れた推定率を持つ推定器を構築するために,追加情報を慎重に活用できることを示す。
情報理論の観点からは、ハマーモデルよりも改善されているにもかかわらず、この問題が強い情報計算ギャップを示すという公式な証拠を提供する。
論文 参考訳(メタデータ) (2026-04-05T19:07:24Z) - Kronecker-Structured Nonparametric Spatiotemporal Point Processes [15.067976522057933]
イベントテンポラルドメインは、正確な予測が課題となる多くの現実世界のアプリケーションで発生する。
KSTPP(Kronecker-Structuredpatio Stemporal Point)を提案する。
論文 参考訳(メタデータ) (2026-03-24T22:13:24Z) - Interpretable Deep Regression Models with Interval-Censored Failure Time Data [1.2993568435938014]
間隔制限付きデータの深層学習手法は、まだ探索が過小評価されており、特定のデータタイプやモデルに限られている。
本研究は、部分線形変換モデルの幅広いクラスを持つ区間知覚データに対する一般的な回帰フレームワークを提案する。
我々の手法をアルツハイマー病神経イメージングイニシアチブデータセットに適用すると、従来のアプローチと比較して新しい洞察と予測性能が向上する。
論文 参考訳(メタデータ) (2025-03-25T15:27:32Z) - From NeurODEs to AutoencODEs: a mean-field control framework for
width-varying Neural Networks [68.8204255655161]
本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。
損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
論文 参考訳(メタデータ) (2023-07-05T13:26:17Z) - Non-adversarial training of Neural SDEs with signature kernel scores [4.721845865189578]
不規則な時系列生成のための最先端性能は、これらのモデルをGANとして逆向きに訓練することで既に得られている。
本稿では,シグネチャカーネルに基づくパス空間のスコアリングルールを新たに導入する。
論文 参考訳(メタデータ) (2023-05-25T17:31:18Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。