論文の概要: Online Kernel Sliced Inverse Regression
- arxiv url: http://arxiv.org/abs/2301.09516v1
- Date: Mon, 23 Jan 2023 16:05:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 13:08:18.393377
- Title: Online Kernel Sliced Inverse Regression
- Title(参考訳): オンラインカーネルスライス逆回帰
- Authors: Wenquan Cui, Yue Zhao, Jianjun Xu, Haoyang Cheng
- Abstract要約: オンライン次元の縮小は、高次元ストリーミングデータ処理の一般的な方法である。
本稿では,オンラインカーネルスライス逆回帰法を提案する。
この問題をオンライン一般化固有分解問題に変換し、最適化手法を用いて中心次元縮小方向を更新する。
- 参考スコア(独自算出の注目度): 4.561305216067566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online dimension reduction is a common method for high-dimensional streaming
data processing. Online principal component analysis, online sliced inverse
regression, online kernel principal component analysis and other methods have
been studied in depth, but as far as we know, online supervised nonlinear
dimension reduction methods have not been fully studied. In this article, an
online kernel sliced inverse regression method is proposed. By introducing the
approximate linear dependence condition and dictionary variable sets, we
address the problem of increasing variable dimensions with the sample size in
the online kernel sliced inverse regression method, and propose a reduced-order
method for updating variables online. We then transform the problem into an
online generalized eigen-decomposition problem, and use the stochastic
optimization method to update the centered dimension reduction directions.
Simulations and the real data analysis show that our method can achieve close
performance to batch processing kernel sliced inverse regression.
- Abstract(参考訳): オンライン次元の縮小は高次元ストリーミングデータ処理の一般的な方法である。
オンライン主成分分析,オンラインスライス逆回帰,オンラインカーネル主成分分析などの手法が深く研究されているが,我々の知る限り,オンライン監視非線形次元減少法は十分に研究されていない。
本稿では,オンラインカーネルスライス逆回帰法を提案する。
近似線形依存条件と辞書変数セットを導入することで,オンラインカーネルスライス逆回帰法において,サンプルサイズで変数寸法を増加させる問題に対処し,変数をオンラインに更新するための縮小次法を提案する。
次に,問題をオンライン一般化固有分解問題に変換し,確率的最適化法を用いて中心次元縮小方向を更新する。
シミュレーションと実データ解析により,本手法はバッチ処理カーネルスライス逆回帰に近づいた性能が得られることを示す。
関連論文リスト
- Efficient Methods for Non-stationary Online Learning [67.3300478545554]
本稿では, 動的後悔と適応的後悔を最適化する効率的な手法を提案し, ラウンド当たりの投影回数を$mathcalO(log T)$から$ $1$まで削減した。
本手法は,パラメータフリーオンライン学習において開発された還元機構を基礎として,非定常オンライン手法に非自明なツイストを必要とする。
論文 参考訳(メタデータ) (2023-09-16T07:30:12Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳(メタデータ) (2023-05-31T03:48:49Z) - Federated Sufficient Dimension Reduction Through High-Dimensional Sparse
Sliced Inverse Regression [4.561305216067566]
フェデレーション学習は、ビッグデータ時代において、近年人気の高いツールとなっている。
本稿では,初めてフェデレートされたスパースススライス逆回帰アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-01-23T15:53:06Z) - Vector-Valued Least-Squares Regression under Output Regularity
Assumptions [73.99064151691597]
最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。
提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
論文 参考訳(メタデータ) (2022-11-16T15:07:00Z) - Robust online joint state/input/parameter estimation of linear systems [0.0]
本稿では,線形システムの状態,入力,パラメータをオンライン形式で共同で推定する手法を提案する。
この方法は、非ガウス雑音や外れ値で劣化した測定のために特別に設計されている。
論文 参考訳(メタデータ) (2022-04-12T09:41:28Z) - Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。
本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
論文 参考訳(メタデータ) (2022-01-31T13:02:41Z) - Sufficient Dimension Reduction for High-Dimensional Regression and
Low-Dimensional Embedding: Tutorial and Survey [5.967999555890417]
本論文は,SDRのための各種手法に関するチュートリアルおよび調査論文である。
本稿では,これらの手法を,統計的高次元回帰的視点と,次元削減のための機械学習アプローチの両方でカバーする。
論文 参考訳(メタデータ) (2021-10-18T21:05:08Z) - Fast and Robust Online Inference with Stochastic Gradient Descent via
Random Scaling [0.9806910643086042]
本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。
我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
論文 参考訳(メタデータ) (2021-06-06T15:38:37Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳(メタデータ) (2020-11-30T21:47:38Z) - Learning to Guide Random Search [111.71167792453473]
我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。
最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。
本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
論文 参考訳(メタデータ) (2020-04-25T19:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。