論文の概要: Implicitly Normalized Online PCA: A Regularized Algorithm with Exact High-Dimensional Dynamics

• arxiv url: http://arxiv.org/abs/2512.01231v1
• Date: Mon, 01 Dec 2025 03:17:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.663486
• Title: Implicitly Normalized Online PCA: A Regularized Algorithm with Exact High-Dimensional Dynamics
• Title（参考訳）: Implicitly Normalized Online PCA: 厳密な高次元ダイナミクスをもつ正規化アルゴリズム
• Authors: Samet Demir, Zafer Dogan,
• Abstract要約: Implicitly Normalized Online PCA (INO-PCA) は、単位ノルム制約を取り除くオンラインPCAアルゴリズムである。 INO-PCAはOjaのアルゴリズムを一貫して上回り,非定常環境において急速に適応することを示す。
• 参考スコア（独自算出の注目度）: 8.135786025034626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many online learning algorithms, including classical online PCA methods, enforce explicit normalization steps that discard the evolving norm of the parameter vector. We show that this norm can in fact encode meaningful information about the underlying statistical structure of the problem, and that exploiting this information leads to improved learning behavior. Motivated by this principle, we introduce Implicitly Normalized Online PCA (INO-PCA), an online PCA algorithm that removes the unit-norm constraint and instead allows the parameter norm to evolve dynamically through a simple regularized update. We prove that in the high-dimensional limit the joint empirical distribution of the estimate and the true component converges to a deterministic measure-valued process governed by a nonlinear PDE. This analysis reveals that the parameter norm obeys a closed-form ODE coupled with the cosine similarity, forming an internal state variable that regulates learning rate, stability, and sensitivity to signal-to-noise ratio (SNR). The resulting dynamics uncover a three-way relationship between the norm, SNR, and optimal step size, and expose a sharp phase transition in steady-state performance. Both theoretically and experimentally, we show that INO-PCA consistently outperforms Oja's algorithm and adapts rapidly in non-stationary environments. Overall, our results demonstrate that relaxing norm constraints can be a principled and effective way to encode and exploit problem-relevant information in online learning algorithms.
• Abstract（参考訳）: 古典的なオンラインPCA手法を含む多くのオンライン学習アルゴリズムは、パラメータベクトルの進化する規範を捨てる明示的な正規化手順を強制する。 このノルムは、実際に問題の基盤となる統計的構造に関する有意義な情報を符号化することができ、この情報を活用することで学習行動が改善されることを示す。 この原理により、単ノルム制約を取り除くオンラインPCAアルゴリズムであるImplicitly Normalized Online PCA (INO-PCA)を導入し、単純な正規化更新によってパラメータノルムを動的に進化させる。 実測値と実成分の結合経験分布の高次元的極限において、非線形PDEによって支配される決定論的測度値過程に収束することが証明された。 この分析により、パラメータノルムはコサイン類似性と結合した閉形式ODEに従属し、学習速度、安定性、信号対雑音比(SNR)に対する感度を調節する内部状態変数を形成することが明らかとなった。 結果のダイナミクスは、標準、SNR、最適ステップサイズの間の3方向の関係を明らかにし、定常状態性能の急激な位相遷移を明らかにする。 理論的にも実験的にも, INO-PCAはOjaのアルゴリズムを一貫して上回り, 非定常環境において急速に適応することを示す。 本研究の結果は,オンライン学習アルゴリズムにおける問題関連情報をエンコードし,活用するための規範的かつ効果的な手法として,ノルム制約の緩和が可能であることを示す。

関連論文リスト

• Iterative Refinement of Flow Policies in Probability Space for Online Reinforcement Learning [56.47948583452555]
  固定ステップのEulerスキームによるフローマッチング推論プロセスの離散化は,最適輸送から変化するJordan-Kinderlehrer-Otto原理と整合する,というキーインサイトに基づいて,SWFP(Stepwise Flow Policy)フレームワークを紹介した。 SWFPは、大域的な流れを、プロキシメート分布間の小さな漸進的な変換の列に分解する。 この分解は、小さな流れブロックのカスケードを介して事前訓練された流れを微調整する効率的なアルゴリズムを導き、大きな利点をもたらす。
  論文  参考訳（メタデータ） (2025-10-17T07:43:51Z)
• Tuning-Free Structured Sparse PCA via Deep Unfolding Networks [5.931547772157972]
  教師なし特徴選択(UFS)のための新しいタイプのスパース主成分分析(PCA)を提案する。 解釈可能な深層展開ネットワークを使用して、反復最適化ステップをトレーニング可能なニューラルネットワークに変換する。 この革新は、従来の手法の経験的チューニング要求を効果的に回避し、正規化パラメータの自動学習を可能にする。
  論文  参考訳（メタデータ） (2025-02-28T08:32:51Z)
• Robust PCA Based on Adaptive Weighted Least Squares and Low-Rank Matrix Factorization [2.983818075226378]
  本稿では,初期コンポーネント不安定時の適応重み係数更新を統合する新しいRPCAモデルを提案する。 提案手法は既存の非インスパイアされた正規化手法よりも優れた性能と効率を提供する。
  論文  参考訳（メタデータ） (2024-12-19T08:31:42Z)
• Robust Offline Reinforcement Learning with Linearly Structured f-Divergence Regularization [11.739526562075339]
  ロバスト正規化マルコフ決定過程 (RRMDP) は、値関数の遷移力学に正規化を加えることで、ダイナミクスシフトに頑健なポリシーを学ぶために提案される。 本稿では,リニア関数近似を用いたロバスト正規化ペシミスティック値反復法 (R2PVI) アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-27T18:57:03Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Sub-linear Regret in Adaptive Model Predictive Control [56.705978425244496]
  本稿では,STT-MPC (Self-Tuning tube-based Model Predictive Control) について述べる。 システム力学を最初に認識したアルゴリズムと比較して,アルゴリズムの後悔を解析する。
  論文  参考訳（メタデータ） (2023-10-07T15:07:10Z)
• A Priori Denoising Strategies for Sparse Identification of Nonlinear Dynamical Systems: A Comparative Study [68.8204255655161]
  本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。 一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T23:31:25Z)
• Learning-based Adaptive Control via Contraction Theory [7.918886297003018]
  パラメトリック不確実性を有する非線形システムのための新しいディープラーニングに基づく適応制御フレームワーク、Adaptive Neural Contraction Metric (aNCM) を提案する。 aNCMは、不確実性の下でシステムの軌道の安定性と指数有界性を保証する最適適応収縮メトリックのニューラルネットワークモデルを使用する。
  論文  参考訳（メタデータ） (2021-03-04T12:19:52Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。