論文の概要: Convergence, design and training of continuous-time dropout as a random batch method
- arxiv url: http://arxiv.org/abs/2510.13134v1
- Date: Wed, 15 Oct 2025 04:19:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-16 20:13:28.492257
- Title: Convergence, design and training of continuous-time dropout as a random batch method
- Title（参考訳）: ランダムバッチ法による連続時間ドロップアウトの収束, 設計, 訓練
- Authors: Antonio Álvarez-López, Martín Hernández,
- Abstract要約: ランダムバッチ方式のレンズを用いた連続時間モデルにおけるドロップアウト正規化について検討する。
我々は、長さ$h$の時間間隔でニューロンのバッチをサンプリングすることによって、ドロップアウトを模倣する、偏りのない、よく考えられた推定器を構築した。
次に、単層ニューラルネットワークを専門とし、分類とフローマッチングの理論を検証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study dropout regularization in continuous-time models through the lens of random-batch methods -- a family of stochastic sampling schemes originally devised to reduce the computational cost of interacting particle systems. We construct an unbiased, well-posed estimator that mimics dropout by sampling neuron batches over time intervals of length $h$. Trajectory-wise convergence is established with linear rate in $h$ for the expected uniform error. At the distribution level, we establish stability for the associated continuity equation, with total-variation error of order $h^{1/2}$ under mild moment assumptions. During training with fixed batch sampling across epochs, a Pontryagin-based adjoint analysis bounds deviations in the optimal cost and control, as well as in gradient-descent iterates. On the design side, we compare convergence rates for canonical batch sampling schemes, recover standard Bernoulli dropout as a special case, and derive a cost--accuracy trade-off yielding a closed-form optimal $h$. We then specialize to a single-layer neural ODE and validate the theory on classification and flow matching, observing the predicted rates, regularization effects, and favorable runtime and memory profiles.
- Abstract（参考訳）: ランダムバッチ法(ランダムバッチ法)のレンズを用いた連続時間モデルにおけるドロップアウト正則化について検討する。
我々は、長さ$h$の時間間隔でニューロンのバッチをサンプリングすることによって、ドロップアウトを模倣する、偏りのない、よく考えられた推定器を構築した。
軌道収束は、期待される一様誤差に対して$h$の線形速度で確立される。
分布レベルでは、関連する連続性方程式の安定性を確立し、次数$h^{1/2}$の総変分誤差を軽微なモーメント仮定の下で設定する。
エポックをまたいだ一定のバッチサンプリングのトレーニング中、ポントリャーギンをベースとした随伴解析は、最適コストと制御の偏差と、勾配の繰り返しの偏差を束縛する。
設計面では、標準バッチサンプリングスキームの収束率を比較し、標準ベルヌーイドロップアウトを特別なケースとして回収し、コスト-精度トレードオフを導出し、クローズドフォームの最適な$h$を得る。
次に、単層ニューラルネットワークに特化して、分類とフローマッチングの理論を検証し、予測レート、正規化効果、好ましいランタイムとメモリプロファイルを観察する。
関連論文リスト
- Preconditioned Regularized Wasserstein Proximal Sampling [2.7957842724446174]
我々は、有限個の粒子を進化させることにより、ノイズフリー分布からのサンプリングを検討する。
ポテンシャルに対しては、非漸近収束解析と、正規化に依存する偏りを明確にする。
論文 参考訳（メタデータ） (2025-09-01T18:04:31Z) - Approximating Full Conformal Prediction for Neural Network Regression with Gauss-Newton Influence [8.952347049759094]
我々は、保留データなしで、保留後のニューラルネットワーク回帰器の予測間隔を構築する。
ガウス・ニュートンの影響を利用して1回、局所摂動モデルパラメータを訓練する。
論文 参考訳（メタデータ） (2025-07-27T13:34:32Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Estimating stationary mass, frequency by frequency [11.476508212290275]
本稿では,指数関数的に$alpha$-mixingプロセスの定常分布によって配置される確率質量を推定する問題を考察する。
総変分距離におけるこの確率ベクトルを推定し、$n$の普遍的一貫性を示す。
我々は、自然の自己正規化統計混合配列の濃度不等式を含む補完ツールを開発し、関連する問題に対する推定器の設計と分析に独立して有用であることを示した。
論文 参考訳（メタデータ） (2025-03-17T04:24:21Z) - An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning [55.467047686093025]
このような忘れを緩和するための一般的なアプローチは、微調整中に以前のタスクからサンプルをリハーサルすることである。
側方損傷のリハーサルを優先するサンプリング手法である textttbf mix-cd を提案する。
我々の手法は計算効率が高く、実装が容易で、計算制約のある設定においていくつかの主要な連続学習手法より優れています。
論文 参考訳（メタデータ） (2024-02-12T22:32:12Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。
決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。
本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-11T15:20:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。