論文の概要: Continuum Dropout for Neural Differential Equations

• arxiv url: http://arxiv.org/abs/2511.10446v2
• Date: Tue, 18 Nov 2025 08:29:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 13:59:16.585217
• Title: Continuum Dropout for Neural Differential Equations
• Title（参考訳）: ニューラル微分方程式の連続解法
• Authors: Jonghun Lee, YongKyung Oh, Sungil Kim, Dong-Young Lim,
• Abstract要約: ニューラル微分方程式(NDE)の普遍的正則化手法である連続解法(Continuum Dropout)を導入する。 連続的なドロップアウト(Continuum Dropout)は、連続的にアクティブ(進化)状態と非アクティブ(停止)状態とを交互に交換するプロセスとしてドロップアウトのオンオフ機構を定式化する。 連続的なドロップアウトは,NDEの既存の正規化手法よりも優れており,様々な時系列や画像分類タスクにおいて優れた性能を発揮することを実証する。
• 参考スコア（独自算出の注目度）: 13.964482869838639
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Differential Equations (NDEs) excel at modeling continuous-time dynamics, effectively handling challenges such as irregular observations, missing values, and noise. Despite their advantages, NDEs face a fundamental challenge in adopting dropout, a cornerstone of deep learning regularization, making them susceptible to overfitting. To address this research gap, we introduce Continuum Dropout, a universally applicable regularization technique for NDEs built upon the theory of alternating renewal processes. Continuum Dropout formulates the on-off mechanism of dropout as a stochastic process that alternates between active (evolution) and inactive (paused) states in continuous time. This provides a principled approach to prevent overfitting and enhance the generalization capabilities of NDEs. Moreover, Continuum Dropout offers a structured framework to quantify predictive uncertainty via Monte Carlo sampling at test time. Through extensive experiments, we demonstrate that Continuum Dropout outperforms existing regularization methods for NDEs, achieving superior performance on various time series and image classification tasks. It also yields better-calibrated and more trustworthy probability estimates, highlighting its effectiveness for uncertainty-aware modeling.
• Abstract（参考訳）: ニューラル微分方程式(NDE)は、連続時間力学のモデリングに優れ、不規則な観測、欠落値、ノイズなどの課題を効果的に扱う。 それらの利点にもかかわらず、NDEは、ディープラーニングの正規化の基盤であるドロップアウトを採用するという根本的な課題に直面しており、過度に適合する可能性がある。 この研究ギャップに対処するために、更新プロセスの交互化理論に基づいて構築されたNDEの汎用正規化手法であるContinuum Dropoutを導入する。 連続的なドロップアウト(Continuum Dropout)は、連続的にアクティブ(進化)状態と非アクティブ(停止)状態の間で交互に変化する確率過程としてドロップアウトのオンオフ機構を定式化する。 これは、NDEの過度な適合を防ぎ、一般化能力を高めるための原則化されたアプローチを提供する。 さらに、Continuum Dropoutは、テスト時にMonte Carloサンプリングを通じて予測の不確実性を定量化する構造化されたフレームワークを提供する。 実験により,NDEの既存の正規化手法よりも優れた性能を示し,様々な時系列および画像分類タスクにおいて優れた性能を示した。 また、より校正され、信頼性の高い確率推定も得られ、不確実性を考慮したモデリングの有効性を強調している。

関連論文リスト

• Modeling Uncertainty Trends for Timely Retrieval in Dynamic RAG [35.96258615258145]
  本稿では,トークンレベルの不確実性のダイナミクスをモデル化し,最適検索タイミングを決定するトレーニングフリーな手法であるEntropy-Trend Constraint(ETC)を紹介する。 ETCは、検索周波数を減少させながら、強いベースラインを一貫して上回る。 プラグアンドプレイで、モデルに依存しず、既存のデコードパイプラインに簡単に統合できる。
  論文  参考訳（メタデータ） (2025-11-13T05:28:02Z)
• Adaptive Variance-Penalized Continual Learning with Fisher Regularization [0.0]
  本研究は、パラメータ分散のフィッシャー重み付き非対称正規化を統合する、新しい連続学習フレームワークを提案する。 本手法はパラメータの不確かさに応じて正規化強度を動的に変調し,安定性と性能を向上させる。
  論文  参考訳（メタデータ） (2025-08-15T21:49:28Z)
• Data-Driven Exploration for a Class of Continuous-Time Indefinite Linear--Quadratic Reinforcement Learning Problems [6.859965454961918]
  本研究では,LQ制御問題に対する強化学習について検討する。 本稿では, モデルフリーでデータ駆動型探索機構を提案し, 批判者によるエントロピー正規化を適応的に調整する。 本手法は,LQ問題のクラスにおいて,最もよく知られたモデルフリーな結果と一致するサブ線形後悔境界を実現する。
  論文  参考訳（メタデータ） (2025-07-01T01:09:06Z)
• Global Convergence of Continual Learning on Non-IID Data [51.99584235667152]
  回帰モデルの連続学習のための総合的・包括的理論的解析を行う。 一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
  論文  参考訳（メタデータ） (2025-03-24T10:06:07Z)
• Temporal-Difference Variational Continual Learning [77.92320830700797]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Continuous-Time Modeling of Counterfactual Outcomes Using Neural Controlled Differential Equations [84.42837346400151]
  反現実的な結果を予測することは、パーソナライズされたヘルスケアをアンロックする可能性がある。 既存の因果推論アプローチでは、観察と治療決定の間の通常の離散時間間隔が考慮されている。 そこで本研究では,腫瘍増殖モデルに基づく制御可能なシミュレーション環境を提案する。
  論文  参考訳（メタデータ） (2022-06-16T17:15:15Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。