論文の概要: Fractional Stochastic Neural Networks
- arxiv url: http://arxiv.org/abs/2606.29438v1
- Date: Sun, 28 Jun 2026 14:55:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.913146
- Title: Fractional Stochastic Neural Networks
- Title(参考訳): フラクショナル確率ニューラルネットワーク
- Abstract要約: 分数的ブラウン運動によって駆動される残留力学を持つ分数的ニューラルネットワークを開発した。
決定論的ネットワークパラメータについて、投影された標本摂動降下の平均2乗収束を証明した。
結果は、分数ドライバがブラウンおよび決定論的ベースラインに対して、長期記憶回復または堅牢性を改善する設定を特定する。
- 参考スコア(独自算出の注目度): 0.6518324773036951
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we develop a fractional stochastic neural network with residual dynamics driven by fractional Brownian motion. By introducing a discrete stochastic maximum principle for the network, we construct the corresponding adjoint recursion. For deterministic network parameters, we prove mean square convergence of projected samplewise stochastic gradient descent. Numerical experiments include a closed form convergence test, noisy regression with uncertainty quantification, long memory time series generation and image classification under structured perturbations. The results identify settings in which fractional drivers improve long memory recovery or robustness relative to Brownian and deterministic baselines.
- Abstract(参考訳): 本稿では,分数的ブラウン運動によって駆動される残留力学を持つ分数的確率的ニューラルネットワークを開発する。
ネットワークに対して離散確率的最大原理を導入することにより、対応する随伴再帰を構築する。
決定論的ネットワークパラメータに対しては、投射された確率勾配勾配の平均2乗収束を証明した。
数値実験には、閉形式収束試験、不確実な定量化を伴うノイズレグレッション、長期記憶時系列生成、構造化摂動下の画像分類などがある。
その結果、分数ドライバがブラウンおよび決定論的ベースラインに対して、長期記憶回復または堅牢性を改善する設定が特定された。
関連論文リスト
- Why SGD is not Brownian Motion: A New Perspective on Stochastic Dynamics [92.39053980710702]
グラディエント・Descent (SGD) は通常ランゲヴィン過程としてモデル化され、ミニバッチノイズがブラウン運動として働くと仮定される。
この近似は、連続時間制限と、離散的なSGD更新を有限学習率で一致しないsqrt(eta)ノイズスケーリングに依存している。
ミニバッチサンプリングによって誘導されるゆらぎのある損失景観における決定論的力学としてのSGDの別の定式化を提案する。
論文 参考訳(メタデータ) (2026-05-21T15:50:40Z) - Kantorovich-Type Stochastic Neural Network Operators for the Mean-Square Approximation of Certain Second-Order Stochastic Processes [0.0]
我々は, ランダム性を係数レベルではなく, ニューロンによって駆動されるtextbf-tochastic ニューロンを介して組み込む新しいクラスである textbf Kantorovich-type Neural Network Operators (K-SNNOs) を構築した。
このフレームワークは、オペレーターが基礎となるプロセスの確率的構造を継承することができ、信号のモデリングと近似に適している。
論文 参考訳(メタデータ) (2026-01-07T06:25:40Z) - VIKING: Deep variational inference with stochastic projections [48.946143517489496]
変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。
パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。
これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
論文 参考訳(メタデータ) (2025-10-27T15:38:35Z) - Generator Born from Classifier [66.56001246096002]
データサンプルに頼ることなく、イメージジェネレータを再構築することを目指している。
本稿では,ネットワークパラメータの収束条件を満たすために,ジェネレータを訓練する新しい学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-12-05T03:41:17Z) - Implicit Regularization for Group Sparsity [33.487964460794764]
正方形回帰損失に対する勾配勾配は, 明示的な正則化を伴わずに, 群間隔構造を持つ解に偏りを示す。
一般雑音設定における回帰問題の勾配ダイナミクスを解析し,最小最適誤差率を求める。
サイズ 1 群の退化の場合、我々の手法は疎線形回帰の新しいアルゴリズムを生み出す。
論文 参考訳(メタデータ) (2023-01-29T20:54:03Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳(メタデータ) (2022-03-27T15:22:19Z) - Phenomenology of Double Descent in Finite-Width Neural Networks [29.119232922018732]
二重降下(double descend)は、モデルが属する体制に依存して行動を記述する。
我々は影響関数を用いて、人口減少とその下限の適切な表現を導出する。
本分析に基づき,損失関数が二重降下に与える影響について検討した。
論文 参考訳(メタデータ) (2022-03-14T17:39:49Z) - Infinitely Deep Bayesian Neural Networks with Stochastic Differential
Equations [37.02511585732081]
我々は,最近提案された連続深度ニューラルネットワークのファミリーにおいて,スケーラブルな近似推論を行う。
我々は勾配に基づく変分推論を示し、任意フレキシブルな近似後部を生成する。
このアプローチは、さらにメモリ効率の高いトレーニングとニューラルODEのチューナブルな精度を継承する。
論文 参考訳(メタデータ) (2021-02-12T14:48:58Z) - Optimal Rates for Averaged Stochastic Gradient Descent under Neural
Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。
本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文 参考訳(メタデータ) (2020-06-22T14:31:37Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳(メタデータ) (2020-06-04T21:51:21Z) - Spatially Adaptive Inference with Stochastic Feature Sampling and
Interpolation [72.40827239394565]
スパースサンプリングされた場所のみの機能を計算することを提案する。
次に、効率的な手順で特徴写像を密に再構築する。
提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
論文 参考訳(メタデータ) (2020-03-19T15:36:31Z) - Generalized Gumbel-Softmax Gradient Estimator for Various Discrete
Random Variables [16.643346012854156]
ノードの勾配を評価することは、深層生成モデリングコミュニティにおいて重要な研究課題の1つである。
本稿では,連続緩和を伴うGumbel-Softmax推定器の一般バージョンを提案する。
論文 参考訳(メタデータ) (2020-03-04T01:13:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。