論文の概要: Adaptive Benign Overfitting (ABO): Overparameterized RLS for Online Learning in Non-stationary Time-series

• arxiv url: http://arxiv.org/abs/2601.22200v1
• Date: Thu, 29 Jan 2026 15:58:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:14.994924
• Title: Adaptive Benign Overfitting (ABO): Overparameterized RLS for Online Learning in Non-stationary Time-series
• Title（参考訳）: Adaptive Benign Overfitting (ABO):非定常時間系列におけるオンライン学習のための過パラメータRSS
• Authors: Luis Ontaneda Mijares, Nick Firoozye,
• Abstract要約: ABOは非常に正確で(ベースラインのカーネルメソッドと比較して)、20～40%のスピード改善を実現している。 結果は、安定したオンライン学習フレームワーク内で適応フィルタリング、カーネル近似、良性過剰適合をリンクする統一ビューを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Overparameterized models have recently challenged conventional learning theory by exhibiting improved generalization beyond the interpolation limit, a phenomenon known as benign overfitting. This work introduces Adaptive Benign Overfitting (ABO), extending the recursive least-squares (RLS) framework to this regime through a numerically stable formulation based on orthogonal-triangular updates. A QR-based exponentially weighted RLS (QR-EWRLS) algorithm is introduced, combining random Fourier feature mappings with forgetting-factor regularization to enable online adaptation under non-stationary conditions. The orthogonal decomposition prevents the numerical divergence associated with covariance-form RLS while retaining adaptability to evolving data distributions. Experiments on nonlinear synthetic time series confirm that the proposed approach maintains bounded residuals and stable condition numbers while reproducing the double-descent behavior characteristic of overparameterized models. Applications to forecasting foreign exchange and electricity demand show that ABO is highly accurate (comparable to baseline kernel methods) while achieving speed improvements of between 20 and 40 percent. The results provide a unified view linking adaptive filtering, kernel approximation, and benign overfitting within a stable online learning framework.
• Abstract（参考訳）: 過パラメータ化モデルは補間限界を超えて一般化を改良し、良性オーバーフィッティングとして知られる現象を提示することで、近年、従来の学習理論に挑戦している。 この研究は、直交三角形更新に基づく数値的に安定な定式化を通じて、再帰的最小二乗法(RLS)フレームワークをこの体制に拡張するアダプティブ・ベニオン・オーバーフィッティング(ABO)を導入している。 QRベースの指数重み付きRSS(QR-EWRLS)アルゴリズムを導入し、非定常条件下でのオンライン適応を可能にするために、ランダムなフーリエ特徴写像と忘れ要素正規化を組み合わせた。 直交分解は、進化するデータ分布への適応性を保ちながら、共分散形式RSSに関連する数値的なばらつきを防止する。 非線形合成時系列実験により, オーバーパラメータ化モデルの二重発振特性を再現しながら, 提案手法が有界残差と安定条件数を維持することを確認した。 外国為替や電力需要の予測への応用は、ABOが20～40%の速度改善を達成しつつ、高度に正確(ベースラインのカーネル方式と同等)であることを示している。 結果は、安定したオンライン学習フレームワーク内で適応フィルタリング、カーネル近似、良性過剰適合をリンクする統一ビューを提供する。

関連論文リスト

• Adaptive Regime-Switching Forecasts with Distribution-Free Uncertainty: Deep Switching State-Space Models Meet Conformal Prediction [38.37518767859008]
  適応等角推論(Adaptive Conformal Inference, ACI)と集約変種(AgACI)を結合したDeep Switching State Space Modelsによるレシエーションスイッチング予測の分布自由不確実性について検討する。 また、S4, MC-Dropout GRU, スパースガウス過程を含む強力なシーケンスベースライン上に位置する統一型コンフォメーションラッパーを導入し、非定常性とモデル不特定性の下で有限サンプルの限界保証付きオンライン予測バンドを生成するための変更点局所モデルを提案する。
  論文  参考訳（メタデータ） (2025-12-02T23:21:01Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Deep Equilibrium models for Poisson Imaging Inverse problems via Mirror Descent [7.248102801711294]
  ディープ平衡モデル(Deep Equilibrium Models、DEQ)は、固定点を持つ暗黙のニューラルネットワークである。 我々は、非ユークリッド幾何学の仕方で定義されるミラー・ディクセントに基づく新しいDEC式を導入する。 本稿では,効率的なトレーニングと完全パラメータフリー推論が可能な計算戦略を提案する。
  論文  参考訳（メタデータ） (2025-07-15T16:33:01Z)
• Adaptive Nonlinear Vector Autoregression: Robust Forecasting for Noisy Chaotic Time Series [0.0]
  ベクトル自己回帰と貯水池計算は カオス力学系の予測において 有望であることを示している 遅延埋め込み線形入力と浅い学習可能な多層パーセプトロンによって生成される特徴を組み合わせた適応的Nモデルを提案する。
  論文  参考訳（メタデータ） (2025-07-11T16:40:10Z)
• Adaptive Conformal Inference by Betting [51.272991377903274]
  データ生成プロセスについて仮定することなく適応型共形推論の問題を考察する。 適応型共形推論のための既存のアプローチは、オンライン勾配勾配の変種を用いたピンボール損失の最適化に基づいている。 本稿では,パラメータフリーなオンライン凸最適化手法を利用した適応型共形推論手法を提案する。
  論文  参考訳（メタデータ） (2024-12-26T18:42:08Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Efficient Interpretable Nonlinear Modeling for Multiple Time Series [5.448070998907116]
  本稿では,複数時系列に対する効率的な非線形モデリング手法を提案する。 異なる時系列変数間の非線形相互作用を含む。 実験結果から,提案アルゴリズムは相似的にVAR係数の支持値の同定を改善することが示された。
  論文  参考訳（メタデータ） (2023-09-29T11:42:59Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Towards Data-Algorithm Dependent Generalization: a Case Study on Overparameterized Linear Regression [19.047997113063147]
  本稿では,データ依存学習軌跡全体の一般化挙動を考察したデータ-アルゴリズム整合性の概念を提案する。 我々は、データ依存軌道解析を行い、そのような環境での互換性に十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-02-12T12:42:36Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。