論文の概要: Rotation-Based Subspace Tracking for Robust Kernel PCA on Streaming Data
- arxiv url: http://arxiv.org/abs/2609.15488v1
- Date: Mon, 14 Sep 2026 12:41:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.396152
- Title: Rotation-Based Subspace Tracking for Robust Kernel PCA on Streaming Data
- Title（参考訳）: ストリーミングデータを用いたロバストカーネルPCAの回転ベース部分空間追跡
- Abstract要約: 実世界のデータは、しばしば従来のPCAでは抽出できない非線形パターンを含む。
本稿では,各入射特徴ベクトルに対して回転することで,部分空間推定を更新する回転ベースの更新機構を提案する。
サンプルごとの回転は勾配降下のみよりも早く収束し、ストリーミングデータ中の非線形部分空間を動的に追跡する効果的なメカニズムを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models process large amounts of data, and Principal Component Analysis (PCA) is a widely used technique to reduce the dimensionality of the data and extract useful features. In practice, datasets often change over time (data drift) and/or arrive one sample at a time (streaming data), making it infeasible to process the entire dataset at once in batch mode. Real-world data also often contains nonlinear patterns, which traditional PCA cannot extract. Kernel PCA addresses this by implicitly mapping samples into a Reproducing Kernel Hilbert Space (RKHS). Raw data also often contains outliers, which can have an outsized effect on the estimated subspace unless the algorithm is made robust. However, existing online robust kernel PCA algorithms are designed to converge to a subspace that is assumed to be fixed, and gradient-descent-based updates lose their effectiveness at tracking further changes once this initial alignment is achieved. This paper introduces a rotation-based update mechanism, which updates the subspace estimate by rotating it toward each new incoming feature vector in Reproducing Kernel Hilbert Space, rather than relying on gradient descent alone. We present two complementary rotation strategies, and show that the extent of rotation can be moderated by a robust influence function to mitigate the effect of outliers. Through experiments on synthetic streaming data with a known ground-truth subspace, we show that per-sample rotations converge faster than gradient descent alone, demonstrating an effective mechanism for dynamically tracking a nonlinear subspace in streaming data.
- Abstract（参考訳）: 機械学習モデルは大量のデータを処理し、主成分分析(PCA)はデータの次元を減らし有用な特徴を抽出するために広く使われている手法である。
実際には、データセットは時間とともに変化することが多く(データのドリフト)、一度に1つのサンプル(データのストリーミング)が到着するので、バッチモードでデータセット全体を一度に処理することは不可能である。
実世界のデータは、しばしば従来のPCAでは抽出できない非線形パターンを含む。
Kernel PCAはサンプルをRKHS(Reproduction Kernel Hilbert Space)に暗黙的にマッピングすることでこの問題に対処する。
生データは、しばしば外れ値を含み、アルゴリズムが堅牢にされない限り、推定された部分空間に大きすぎる効果を持つ。
しかし、既存のオンラインロバストカーネルPCAアルゴリズムは、固定されたと仮定される部分空間に収束するように設計されており、この初期アライメントが達成されると、勾配差に基づく更新では、さらなる変更を追跡する効果が失われる。
本稿では,次数勾配のみに頼るのではなく,再生成するケルネルヒルベルト空間において,各入射特徴ベクトルに対して回転することで部分空間推定を更新する回転ベースの更新機構を提案する。
本稿では,2つの相補的な回転戦略を示し,外乱の影響を緩和するロバストな影響関数によって回転の程度を緩和できることを示した。
既知の地絡部分空間を用いた合成ストリーミングデータ実験により, サンプルごとの回転が勾配降下のみよりも高速に収束することを示し, ストリーミングデータ中の非線形部分空間を動的に追跡する効果的なメカニズムを実証した。
関連論文リスト
- When to Retrain after Drift: A Data-Only Test of Post-Drift Data Size Sufficiency [17.084943743566217]
CALIPERは検出器とモデルに依存しないデータのみのテストであり、安定した再訓練に必要なデータサイズを推定する。
私たちは、CALIPERが無視できるオーバーヘッドを発生させ、しばしばインクリメンタルアップデートよりも優れたパフォーマンスを保ちながら、再トレーニングのための最高の固定データサイズを一貫して一致または超過していることを示します。
論文 参考訳（メタデータ） (2026-03-09T23:43:56Z) - Rotation Control Unlearning: Quantifying and Controlling Continuous Unlearning for LLM with The Cognitive Rotation Space [66.51378598755933]
本研究では,学習継続過程における学習度を定量化し,制御する,回転制御アンラーニング(RCU)と呼ばれる新しい手法を提案する。
歪対称損失は、回転角の変化が連続的未学習過程をシミュレートできる認知回転空間の存在を構築するように設計されている。
複数のデータセットに対する実験により、保持されたデータセットを持たないメソッドがSOTA性能を達成することを確認した。
論文 参考訳（メタデータ） (2025-09-30T03:59:29Z) - ALPCAH: Subspace Learning for Sample-wise Heteroscedastic Data [15.812312064457867]
本稿では,サンプル単位の雑音分散を推定できる部分空間学習手法 ALPCAH を提案する。
本手法は低ランク成分の分布を仮定せず,ノイズ分散が知られていると仮定しない。
さらに, ALPCAH の行列分解版である LR-ALPCAH を開発した。
論文 参考訳（メタデータ） (2025-05-12T06:49:47Z) - DispFormer: A Pretrained Transformer Incorporating Physical Constraints for Dispersion Curve Inversion [56.64622091009756]
本研究では、レイリー波位相と群分散曲線からプロファイルインバージョンを$v_s$とするトランスフォーマーベースのニューラルネットワークであるDispFormerを紹介する。
DispFormerは各期間に分散データを個別に処理し、ネットワークの変更やデータセットのトレーニングとテストの厳格な調整を必要とせずに、さまざまな長さを処理できる。
論文 参考訳（メタデータ） (2025-01-08T09:08:24Z) - Embarassingly Simple Dataset Distillation [0.0]
本研究は, 2段階最適化問題として直接扱うことにより, その中核におけるデータセットの蒸留に取り組む。
蒸留されたデータの性質を深く掘り下げると、相互相関が明らかになる。
異なるデータ予算にまたがって、ほぼ最適性能のサブセットを含む蒸留データセットを生成するブーピング機構を考案する。
論文 参考訳（メタデータ） (2023-11-13T02:14:54Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳（メタデータ） (2023-09-07T16:55:50Z) - On the Size and Approximation Error of Distilled Sets [57.61696480305911]
カーネル・インジェクション・ポイント(Kernel Inducing Points)などのデータセット蒸留のカーネル・リッジ回帰に基づく手法について理論的に考察する。
我々は、RFF空間におけるその解が元のデータの解と一致するように、元の入力空間に小さな一組のインスタンスが存在することを証明した。
KRR溶液は、全入力データに最適化されたKRR溶液に対して近似を与えるこの蒸留されたインスタンスセットを用いて生成することができる。
論文 参考訳（メタデータ） (2023-05-23T14:37:43Z) - Capturing the Denoising Effect of PCA via Compression Ratio [3.967854215226183]
主成分分析(PCA)は機械学習における最も基本的なツールの1つである。
本稿では,PCAが高次元雑音データに与える影響を捉えるために,Emphcompression ratioと呼ばれる新しい指標を提案する。
この新しい指標に基づいて、我々は、外れ値を検出するのに使える簡単なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-04-22T18:43:47Z) - Uniform-in-Phase-Space Data Selection with Iterative Normalizing Flows [0.0]
データの位相空間を均一に分散するようにデータポイントを選択する戦略が提案されている。
データセットの小さなサブセットのみを使用して確率マップを構築する場合、レアデータポイントの確率を正確に推定するために反復法が用いられる。
提案フレームワークは、豊富なデータが利用可能であれば、データ効率のよい機械学習を可能にするための実行可能な経路として実証されている。
論文 参考訳（メタデータ） (2021-12-28T20:06:28Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Turning Channel Noise into an Accelerator for Over-the-Air Principal
Component Analysis [65.31074639627226]
主成分分析(PCA)は、データセットの線形構造を抽出するための技術です。
勾配降下アルゴリズムに基づくマルチアクセスチャネル上にPCAを配置する手法を提案する。
オーバー・ザ・エア・アグリゲーションはマルチ・アクセスの遅延を減らすために採用され、オーバー・ザ・エア・PCAという名称を与える。
論文 参考訳（メタデータ） (2021-04-20T16:28:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。