論文の概要: A randomized algorithm to solve reduced rank operator regression
- arxiv url: http://arxiv.org/abs/2312.17348v1
- Date: Thu, 28 Dec 2023 20:29:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-02 14:52:22.544339
- Title: A randomized algorithm to solve reduced rank operator regression
- Title(参考訳): 減少ランク演算子回帰問題に対するランダム化アルゴリズム
- Authors: Giacomo Turri, Vladimir Kostic, Pietro Novelli, Massimiliano Pontil
- Abstract要約: 本稿では,無限次元入力空間と出力空間を含むベクトル値回帰問題に対処するアルゴリズムを提案し,解析する。
このアルゴリズムは低ランクベクトル値関数を最適に学習する手法である低ランク回帰のランダム適応である。
- 参考スコア(独自算出の注目度): 27.513149895229837
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present and analyze an algorithm designed for addressing vector-valued
regression problems involving possibly infinite-dimensional input and output
spaces. The algorithm is a randomized adaptation of reduced rank regression, a
technique to optimally learn a low-rank vector-valued function (i.e. an
operator) between sampled data via regularized empirical risk minimization with
rank constraints. We propose Gaussian sketching techniques both for the primal
and dual optimization objectives, yielding Randomized Reduced Rank Regression
(R4) estimators that are efficient and accurate. For each of our R4 algorithms
we prove that the resulting regularized empirical risk is, in expectation
w.r.t. randomness of a sketch, arbitrarily close to the optimal value when
hyper-parameteres are properly tuned. Numerical expreriments illustrate the
tightness of our bounds and show advantages in two distinct scenarios: (i)
solving a vector-valued regression problem using synthetic and large-scale
neuroscience datasets, and (ii) regressing the Koopman operator of a nonlinear
stochastic dynamical system.
- Abstract(参考訳): 本稿では,無限次元入力空間と出力空間を含むベクトル値回帰問題に対処するアルゴリズムを提案し,解析する。
このアルゴリズムは、低ランクのベクトル値関数(例えば演算子)を、ランク制約付き正規化された経験的リスク最小化によって、サンプリングデータ間で最適に学習する手法である。
本稿では,R4(Randomized Reduced Rank Regression)推定器(R4)を効率よく,かつ高精度に生成するガウス的スケッチ手法を提案する。
R4アルゴリズムのそれぞれに対して、結果として生じる正規化された経験的リスクは、スケッチのランダム性に期待して、ハイパーパラメータが適切に調整されたとき、任意に最適な値に近づくことを証明する。
数値的な解釈は、境界の厳密さを示し、2つの異なるシナリオで利点を示す。
一 合成・大規模神経科学データセットを用いたベクトル値回帰問題の解法
(ii)非線形確率力学系のクープマン作用素を回帰する。
関連論文リスト
- Stochastic Optimization for Non-convex Problem with Inexact Hessian
Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。
TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文 参考訳(メタデータ) (2023-10-18T10:29:58Z) - Convergence analysis of online algorithms for vector-valued kernel
regression [0.5076419064097734]
オンライン学習アルゴリズムを用いて雑音の多いベクトル値データから回帰関数を近似する問題を考察する。
RKHSノルムの期待二乗誤差は$C2 (m+1)-s/(2+s)$でバウンドできることを示し、$m$は現在の処理データの数である。
論文 参考訳(メタデータ) (2023-09-14T15:10:47Z) - Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
論文 参考訳(メタデータ) (2022-12-11T18:03:12Z) - Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。
提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
論文 参考訳(メタデータ) (2022-10-23T23:23:23Z) - Alternating minimization for generalized rank one matrix sensing: Sharp
predictions from a random initialization [10.516962652888989]
ランクランダム行列の特性をdで推定する手法を示す。
鋭い収束は、単一のステップで正確な回復を保証する。
我々の分析は、この問題の他のいくつかの特性も明らかにしている。
論文 参考訳(メタデータ) (2022-07-20T05:31:05Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳(メタデータ) (2021-07-02T16:21:52Z) - Sparse Bayesian Learning via Stepwise Regression [1.2691047660244335]
我々は、RMP(Relevance Matching Pursuit)と呼ばれるSBLのための座標加算アルゴリズムを提案する。
ノイズ分散パラメータがゼロになるにつれて、RMPはステップワイド回帰と驚くべき関係を示す。
ステップワイド回帰アルゴリズムの新たな保証を導き、RMPにも光を当てる。
論文 参考訳(メタデータ) (2021-06-11T00:20:27Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。
これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。
近勾配法はOWL回帰を解くための標準手法として用いられる。
未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
論文 参考訳(メタデータ) (2020-06-29T23:35:53Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳(メタデータ) (2020-06-10T15:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。