論文の概要: Central limit theorems for the outputs of fully convolutional neural networks with time series input
- arxiv url: http://arxiv.org/abs/2603.29612v1
- Date: Tue, 31 Mar 2026 11:33:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-01 15:25:03.576691
- Title: Central limit theorems for the outputs of fully convolutional neural networks with time series input
- Title(参考訳): 時系列入力を伴う完全畳み込みニューラルネットワークの出力に対する中心極限定理
- Authors: Annika Betken, Giorgio Micali, Johannes Schmidt-Hieber,
- Abstract要約: ネットワーク入力が短距離依存線形プロセスから生成される場合、大域平均プーリング(GAP)による完全畳み込みニューラルネットワーク(FCN)の出力はガウス的であることを示す。
本稿では,グローバルな重み付きプールステップを考慮したGAPの一般化を提案する。
- 参考スコア(独自算出の注目度): 6.80557541703437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning is widely deployed for time series learning tasks such as classification and forecasting. Despite the empirical successes, only little theory has been developed so far in the time series context. In this work, we prove that if the network inputs are generated from short-range dependent linear processes, the outputs of fully convolutional neural networks (FCNs) with global average pooling (GAP) are asymptotically Gaussian and the limit is attained if the length of the observed time series tends to infinity. The proof leverages existing tools from the theoretical time series literature. Based on our theory, we propose a generalization of the GAP layer by considering a global weighted pooling step with slowly varying, learnable coefficients.
- Abstract(参考訳): ディープラーニングは、分類や予測といった時系列学習タスクに広く利用されている。
経験的な成功にもかかわらず、今のところ時系列の文脈ではほとんど理論が開発されていない。
本研究では,ネットワーク入力が短距離依存線形過程から生成される場合,大域平均プーリング(GAP)による完全畳み込みニューラルネットワーク(FCN)の出力が漸近的にガウス的であり,観測された時系列の長さが無限大となる場合,その限界が達成されることを示す。
この証明は理論時系列文献から既存のツールを活用する。
本理論に基づいて, 学習可能係数がゆっくりと変化する大域的な重み付けプールステップを考慮し, GAP層の一般化を提案する。
関連論文リスト
- Algorithm Development in Neural Networks: Insights from the Streaming Parity Task [8.188549368578704]
ストリーミングパリティタスクでトレーニングされたニューラルネットワークの学習ダイナミクスについて検討する。
有限学習経験が十分であれば、RNNは完全無限一般化への位相遷移を示すことを示す。
その結果、ニューラルネットワークが有限のトレーニング経験から無限に一般化できるメカニズムが明らかにされた。
論文 参考訳(メタデータ) (2025-07-14T04:07:43Z) - Towards Expressive Spectral-Temporal Graph Neural Networks for Time Series Forecasting [101.5022396668152]
スペクトル時間グラフニューラルネットワークは、ほとんどの時系列予測モデルの基礎となる、有望な抽象化である。
我々は、スペクトル時間GNNの表現力を高める理論的枠組みを確立する。
本研究は,GNNをベースとした時系列モデルにおいて,より広範に表現可能なGNNモデルを考案するための道筋をたどるものである。
論文 参考訳(メタデータ) (2023-05-11T05:56:38Z) - Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。
平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。
提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
論文 参考訳(メタデータ) (2021-12-10T15:06:11Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳(メタデータ) (2021-01-12T00:40:45Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z) - Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。
さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
論文 参考訳(メタデータ) (2020-07-30T23:50:44Z) - Optimization and Generalization Analysis of Transduction through
Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。
マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。
マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文 参考訳(メタデータ) (2020-06-15T17:06:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。