論文の概要: Online and Offline Robust Multivariate Linear Regression

• arxiv url: http://arxiv.org/abs/2404.19496v1
• Date: Tue, 30 Apr 2024 12:30:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 14:15:27.653439
• Title: Online and Offline Robust Multivariate Linear Regression
• Title（参考訳）: オンラインおよびオフラインロバスト多変量線形回帰
• Authors: Antoine Godichon-Baggioni, Stephane S. Robin, Laure Sansonnet,
• Abstract要約: 提案手法は,オンライン勾配降下アルゴリズムと平均化バージョン,オフライン固定点アルゴリズムの2つである。 ノイズの分散行列は一般に未知であるため、マハラノビスに基づく勾配勾配アルゴリズムに頑健な推定をプラグインすることを提案する。
• 参考スコア（独自算出の注目度）: 0.3277163122167433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the robust estimation of the parameters of multivariate Gaussian linear regression models. To this aim we consider robust version of the usual (Mahalanobis) least-square criterion, with or without Ridge regularization. We introduce two methods each considered contrast: (i) online stochastic gradient descent algorithms and their averaged versions and (ii) offline fix-point algorithms. Under weak assumptions, we prove the asymptotic normality of the resulting estimates. Because the variance matrix of the noise is usually unknown, we propose to plug a robust estimate of it in the Mahalanobis-based stochastic gradient descent algorithms. We show, on synthetic data, the dramatic gain in terms of robustness of the proposed estimates as compared to the classical least-square ones. Well also show the computational efficiency of the online versions of the proposed algorithms. All the proposed algorithms are implemented in the R package RobRegression available on CRAN.
• Abstract（参考訳）: 多変量ガウス線形回帰モデルのパラメータのロバストな推定を考察する。 この目的のために、リッジ正規化の有無にかかわらず、通常の(マハラノビス)最小二乗基準のロバスト版を考える。 コントラストを考慮に入れた2つの方法を紹介する。 (i)オンライン確率勾配降下アルゴリズムとその平均化バージョン (ii)オフラインの固定点アルゴリズム。 弱い仮定の下では、得られた推定の漸近正規性を証明する。 ノイズの分散行列は通常未知であるため、マハラノビスに基づく確率勾配勾配アルゴリズムに頑健な推定をプラグインすることを提案する。 合成データでは,提案した推定値のロバスト性に関して,古典的最小二乗法に比べて劇的な向上を示した。 また、提案したアルゴリズムのオンライン版の計算効率を示す。 提案されたアルゴリズムはすべて、CRANで利用可能なRパッケージRobRegressionで実装されている。

関連論文リスト

• Convergence analysis of online algorithms for vector-valued kernel regression [0.42970700836450487]
  オンライン学習アルゴリズムを用いて雑音の多いベクトル値データから回帰関数を近似する問題を考察する。 RKHSノルムの期待二乗誤差は$C2 (m+1)-s/(2+s)$でバウンドできることを示し、$m$は現在の処理データの数である。
  論文  参考訳（メタデータ） (2023-09-14T15:10:47Z)
• Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency [90.40062452292091]
  本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。 我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。 また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-21T00:17:24Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Stochastic Online Linear Regression: the Forward Algorithm to Replace Ridge [24.880035784304834]
  オンラインリッジ回帰とフォワードアルゴリズムに対して高い確率的後悔境界を導出する。 これにより、オンライン回帰アルゴリズムをより正確に比較し、有界な観測と予測の仮定を排除できる。
  論文  参考訳（メタデータ） (2021-11-02T13:57:53Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Robust Regression Revisited: Acceleration and Improved Estimation Rates [25.54653340884806]
  強い汚染モデルの下で, 統計的回帰問題に対する高速アルゴリズムについて検討する。 目的は、逆向きに破損したサンプルを与えられた一般化線形モデル(GLM)を概ね最適化することである。 実行時や推定保証が改善された頑健な回帰問題に対して,ほぼ直線的な時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:21:56Z)
• Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
  本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。 我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
  論文  参考訳（メタデータ） (2021-06-06T15:38:37Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• Online Covariance Matrix Estimation in Stochastic Gradient Descent [10.153224593032677]
  勾配降下(SGD)は,特に大規模データセットやオンライン学習においてパラメータ推定に広く用いられている。 本稿では,オンライン環境でのSGDに基づく推定値の統計的推測を定量化することを目的とする。
  論文  参考訳（メタデータ） (2020-02-10T17:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。