論文の概要: Convergence, design and training of continuous-time dropout as a random batch method
- arxiv url: http://arxiv.org/abs/2510.13134v1
- Date: Wed, 15 Oct 2025 04:19:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-16 20:13:28.492257
- Title: Convergence, design and training of continuous-time dropout as a random batch method
- Title（参考訳）: ランダムバッチ法による連続時間ドロップアウトの収束, 設計, 訓練
- Authors: Antonio Álvarez-López, Martín Hernández,
- Abstract要約: ランダムバッチ方式のレンズを用いた連続時間モデルにおけるドロップアウト正規化について検討する。
我々は、長さ$h$の時間間隔でニューロンのバッチをサンプリングすることによって、ドロップアウトを模倣する、偏りのない、よく考えられた推定器を構築した。
次に、単層ニューラルネットワークを専門とし、分類とフローマッチングの理論を検証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study dropout regularization in continuous-time models through the lens of random-batch methods -- a family of stochastic sampling schemes originally devised to reduce the computational cost of interacting particle systems. We construct an unbiased, well-posed estimator that mimics dropout by sampling neuron batches over time intervals of length $h$. Trajectory-wise convergence is established with linear rate in $h$ for the expected uniform error. At the distribution level, we establish stability for the associated continuity equation, with total-variation error of order $h^{1/2}$ under mild moment assumptions. During training with fixed batch sampling across epochs, a Pontryagin-based adjoint analysis bounds deviations in the optimal cost and control, as well as in gradient-descent iterates. On the design side, we compare convergence rates for canonical batch sampling schemes, recover standard Bernoulli dropout as a special case, and derive a cost--accuracy trade-off yielding a closed-form optimal $h$. We then specialize to a single-layer neural ODE and validate the theory on classification and flow matching, observing the predicted rates, regularization effects, and favorable runtime and memory profiles.
- Abstract（参考訳）: ランダムバッチ法(ランダムバッチ法)のレンズを用いた連続時間モデルにおけるドロップアウト正則化について検討する。
我々は、長さ$h$の時間間隔でニューロンのバッチをサンプリングすることによって、ドロップアウトを模倣する、偏りのない、よく考えられた推定器を構築した。
軌道収束は、期待される一様誤差に対して$h$の線形速度で確立される。
分布レベルでは、関連する連続性方程式の安定性を確立し、次数$h^{1/2}$の総変分誤差を軽微なモーメント仮定の下で設定する。
エポックをまたいだ一定のバッチサンプリングのトレーニング中、ポントリャーギンをベースとした随伴解析は、最適コストと制御の偏差と、勾配の繰り返しの偏差を束縛する。
設計面では、標準バッチサンプリングスキームの収束率を比較し、標準ベルヌーイドロップアウトを特別なケースとして回収し、コスト-精度トレードオフを導出し、クローズドフォームの最適な$h$を得る。
次に、単層ニューラルネットワークに特化して、分類とフローマッチングの理論を検証し、予測レート、正規化効果、好ましいランタイムとメモリプロファイルを観察する。
関連論文リスト
- Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。
一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。
離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
論文 参考訳（メタデータ） (2026-02-16T18:48:17Z) - Variational Optimality of Föllmer Processes in Generative Diffusions [20.583125441867434]
有限時間地平線上の所定の目標分布に点質量を輸送する生成拡散を解析する。
拡散係数は, 時間空間分布を変化させることなく, エンファテリオリを調整できることが示唆された。
論文 参考訳（メタデータ） (2026-02-11T16:15:19Z) - Learnable Chernoff Baselines for Inference-Time Alignment [64.81256817158851]
本稿では,指数関数的に傾いたカーネルから効率よく,およそサンプリングする方法として,Learnerable Chernoff Baselinesを紹介した。
理想的なモデルに対する全変量保証を確立し、LCBサンプリングが理想的拒絶サンプリングと密接に一致するような連続的および離散的な拡散設定を実証する。
論文 参考訳（メタデータ） (2026-02-08T00:09:40Z) - Low-Dimensional Adaptation of Rectified Flow: A New Perspective through the Lens of Diffusion and Stochastic Localization [59.04314685837778]
整流流(RF)は、その生成効率と最先端の性能からかなりの人気を得ている。
本稿では,RFがターゲット分布の支持の内在的低次元性に自動的に適応し,サンプリングを高速化する程度について検討する。
時間分割方式を慎重に設計し,十分な正確なドリフト推定を行うことで,RFサンプリング器はオーダーO(k/varepsilon)$の複雑さを享受できることを示す。
論文 参考訳（メタデータ） (2026-01-21T22:09:27Z) - Dimension-free error estimate for diffusion model and optimal scheduling [22.20348860913421]
拡散生成モデルは、経験的に観察された分布から合成データを生成するための強力なツールとして登場した。
従来の分析では、生成したデータと真のデータ分布の誤差を、ワッサーシュタイン距離やクルバック・リーバーの偏差の観点から定量化していた。
本研究では, 生成したデータ分布と真のデータ分布との相違点に有意な次元自由境界を導出する。
論文 参考訳（メタデータ） (2025-12-01T15:58:20Z) - Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。
速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
論文 参考訳（メタデータ） (2025-12-01T05:14:25Z) - Preconditioned Regularized Wasserstein Proximal Sampling [2.7957842724446174]
我々は、有限個の粒子を進化させることにより、ノイズフリー分布からのサンプリングを検討する。
ポテンシャルに対しては、非漸近収束解析と、正規化に依存する偏りを明確にする。
論文 参考訳（メタデータ） (2025-09-01T18:04:31Z) - Approximating Full Conformal Prediction for Neural Network Regression with Gauss-Newton Influence [8.952347049759094]
我々は、保留データなしで、保留後のニューラルネットワーク回帰器の予測間隔を構築する。
ガウス・ニュートンの影響を利用して1回、局所摂動モデルパラメータを訓練する。
論文 参考訳（メタデータ） (2025-07-27T13:34:32Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Estimating stationary mass, frequency by frequency [11.476508212290275]
本稿では,指数関数的に$alpha$-mixingプロセスの定常分布によって配置される確率質量を推定する問題を考察する。
総変分距離におけるこの確率ベクトルを推定し、$n$の普遍的一貫性を示す。
我々は、自然の自己正規化統計混合配列の濃度不等式を含む補完ツールを開発し、関連する問題に対する推定器の設計と分析に独立して有用であることを示した。
論文 参考訳（メタデータ） (2025-03-17T04:24:21Z) - An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning [55.467047686093025]
このような忘れを緩和するための一般的なアプローチは、微調整中に以前のタスクからサンプルをリハーサルすることである。
側方損傷のリハーサルを優先するサンプリング手法である textttbf mix-cd を提案する。
我々の手法は計算効率が高く、実装が容易で、計算制約のある設定においていくつかの主要な連続学習手法より優れています。
論文 参考訳（メタデータ） (2024-02-12T22:32:12Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。
決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。
本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-11T15:20:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。