論文の概要: Learning Sub-Patterns in Piecewise Continuous Functions
- arxiv url: http://arxiv.org/abs/2010.15571v4
- Date: Wed, 15 Dec 2021 17:08:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 22:02:21.440727
- Title: Learning Sub-Patterns in Piecewise Continuous Functions
- Title(参考訳): 分割連続関数における学習サブパターン
- Authors: Anastasis Kratsios, Behnoosh Zamanlooy
- Abstract要約: ほとんどの勾配降下アルゴリズムは、パラメータでサブ微分可能なニューラルネットワークを最適化することができる。
本稿では,異なるサブパターンから不連続が生じる場合に焦点を当てる。
分離された2段階の手順でトレーニング可能な,不連続なディープニューラルネットワークモデルを提案する。
- 参考スコア(独自算出の注目度): 4.18804572788063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most stochastic gradient descent algorithms can optimize neural networks that
are sub-differentiable in their parameters; however, this implies that the
neural network's activation function must exhibit a degree of continuity which
limits the neural network model's uniform approximation capacity to continuous
functions. This paper focuses on the case where the discontinuities arise from
distinct sub-patterns, each defined on different parts of the input space. We
propose a new discontinuous deep neural network model trainable via a decoupled
two-step procedure that avoids passing gradient updates through the network's
only and strategically placed, discontinuous unit. We provide approximation
guarantees for our architecture in the space of bounded continuous functions
and universal approximation guarantees in the space of piecewise continuous
functions which we introduced herein. We present a novel semi-supervised
two-step training procedure for our discontinuous deep learning model, tailored
to its structure, and we provide theoretical support for its effectiveness. The
performance of our model and trained with the propose procedure is evaluated
experimentally on both real-world financial datasets and synthetic datasets.
- Abstract(参考訳): ほとんどの確率的勾配降下アルゴリズムは、パラメータで下位微分可能なニューラルネットワークを最適化することができるが、これはニューラルネットワークの活性化関数が、ニューラルネットワークモデルの一様近似容量を連続関数に制限する連続性を示す必要があることを意味する。
本稿では,入力空間の異なる部分で定義された異なるサブパターンから不連続が生じる場合に焦点を当てる。
そこで本研究では,ネットワークの唯一かつ戦略的に配置された不連続単位を通る勾配更新を回避し,分離した2段階の手順で学習可能な新しい不連続深層ニューラルネットワークモデルを提案する。
我々は、有界連続関数空間におけるアーキテクチャの近似保証と、ここで紹介した断片連続関数空間における普遍近似保証を提供する。
本稿では,不連続な深層学習モデルのための新しい半教師付き2段階学習手法を提案し,その有効性を理論的に裏付ける。
提案手法を用いて学習したモデルの性能を実世界の財務データと合成データセットの両方で実験的に評価した。
関連論文リスト
- Nonlinear functional regression by functional deep neural network with
kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。
機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。
スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文 参考訳(メタデータ) (2024-01-05T16:43:39Z) - Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
連続学習を逐次関数空間変動推論として定式化した目的を提案する。
ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。
タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
論文 参考訳(メタデータ) (2023-12-28T18:44:32Z) - ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。
このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。
ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
論文 参考訳(メタデータ) (2023-07-02T21:46:30Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳(メタデータ) (2022-10-28T17:26:27Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳(メタデータ) (2022-10-03T07:59:42Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳(メタデータ) (2022-06-01T23:26:51Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - Modern Non-Linear Function-on-Function Regression [8.231050911072755]
本稿では,ニューラルネットワークを用いた関数データに対する非線形関数オン関数回帰モデルを提案する。
FDNN(Functional Direct Neural Network)とFBNN(Functional Basis Neural Network)の2つのモデルフィッティング戦略を提案する。
論文 参考訳(メタデータ) (2021-07-29T16:19:59Z) - Non-linear Functional Modeling using Neural Networks [6.624726878647541]
ニューラルネットワークに基づく関数型データのための非線形モデルの新たなクラスを導入する。
提案するフレームワークには,連続的な隠蔽層を持つ関数型ニューラルネットワークと,ベース拡張と連続隠蔽層を利用する第2バージョンという,2つのバリエーションがある。
論文 参考訳(メタデータ) (2021-04-19T14:59:55Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - A Shooting Formulation of Deep Learning [19.51427735087011]
本稿では,ネットワーク層ごとのパラメータ化から,最適ネットワーク上でのパラメータ化へと視点を転換するシューティング定式化を提案する。
拡張性のために,連続深度ニューラルネットワークの最適重み軌跡を同定する新しい粒子アンサンブルパラメトリゼーションを提案する。
論文 参考訳(メタデータ) (2020-06-18T07:36:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。