論文の概要: Efficient Estimation of Regularized Tyler's M-Estimator Using Approximate LOOCV

• arxiv url: http://arxiv.org/abs/2505.24781v1
• Date: Fri, 30 May 2025 16:43:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:53.079107
• Title: Efficient Estimation of Regularized Tyler's M-Estimator Using Approximate LOOCV
• Title（参考訳）: 近似LOOCVを用いた正規化タイラーM-推定器の効率的な評価
• Authors: Karim Abou-Moustafa,
• Abstract要約: 正規化タイラーのM-推定器(RTME)の正規化パラメータや縮小係数$alphaを (0,1)$で推定する問題を考える。 本稿では,最適な対象関数の解として$alpha$を設定することにより,最適収縮係数を推定する。 提案手法は, 収縮係数推定法における他の手法よりも効率的で, 一貫して精度が高いことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of estimating a regularization parameter, or a shrinkage coefficient $\alpha \in (0,1)$ for Regularized Tyler's M-estimator (RTME). In particular, we propose to estimate an optimal shrinkage coefficient by setting $\alpha$ as the solution to a suitably chosen objective function; namely the leave-one-out cross-validated (LOOCV) log-likelihood loss. Since LOOCV is computationally prohibitive even for moderate sample size $n$, we propose a computationally efficient approximation for the LOOCV log-likelihood loss that eliminates the need for invoking the RTME procedure $n$ times for each sample left out during the LOOCV procedure. This approximation yields an $O(n)$ reduction in the running time complexity for the LOOCV procedure, which results in a significant speedup for computing the LOOCV estimate. We demonstrate the efficiency and accuracy of the proposed approach on synthetic high-dimensional data sampled from heavy-tailed elliptical distributions, as well as on real high-dimensional datasets for object recognition, face recognition, and handwritten digit's recognition. Our experiments show that the proposed approach is efficient and consistently more accurate than other methods in the literature for shrinkage coefficient estimation.
• Abstract（参考訳）: 我々は正規化パラメータや縮小係数$\alpha \in (0,1)$を正規化タイラーのM-推定器(RTME)に対して推定する問題を考察する。 特に, 最適縮小係数を, 最適選択対象関数の解として$\alpha$を設定することにより推定する。 LOOCVは、中程度のサンプルサイズである$n$であっても計算が禁じられているため、LOOCVの処理中に残ったサンプルに対して、RTME手順を$n$で呼び出す必要をなくし、LOOCVのログライクな損失に対する計算効率の良い近似を提案する。 この近似は、LOOCV手順のランニングタイムの複雑さを$O(n)$に削減し、LOOCV推定の計算の大幅な高速化をもたらす。 本研究では,重み付き楕円分布から抽出した合成高次元データと,物体認識,顔認識,手書き数字認識のための実高次元データセットについて,提案手法の有効性と精度を示す。 提案手法は, 収縮係数推定法における他の手法よりも効率的かつ一貫して精度が高いことを示す。

関連論文リスト

• Bayesian Optimization for Robust Identification of Ornstein-Uhlenbeck Model [4.0148499400442095]
  本稿では、Ornstein-Uhlenbeck(OU)プロセスエラーモデルの導出について述べる。 ベイジアン最適化フレームワークに基づく,サンプル効率のよいグローバル最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-03-09T01:38:21Z)
• Leveraging Sparsity for Sample-Efficient Preference Learning: A Theoretical Perspective [16.610925506252716]
  古典的推定理論において、最小マックス最適推定誤差率$Theta(d/n)$は、特徴空間$d$の次元と線形にスケールするサンプルの個数$n$を要求する。 特徴空間の高次元性と人間の注釈付きデータを収集するコストは、従来の推定手法の効率性に挑戦する。 報酬関数のパラメータが$k$-sparseであるスパースランダムユーティリティモデルでは、ミニマックス最適率は$Theta(k/n log(d/k))に還元できることを示す。
  論文  参考訳（メタデータ） (2025-01-30T11:41:13Z)
• A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
  そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。 提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
  論文  参考訳（メタデータ） (2024-09-07T06:37:23Z)
• Posterior Sampling with Delayed Feedback for Reinforcement Learning with Linear Function Approximation [62.969796245827006]
  Delayed-PSVI は楽観的な値に基づくアルゴリズムであり、後続サンプリングによる雑音摂動により値関数空間を探索する。 我々のアルゴリズムは、未知の遅延が存在する場合に、$widetildeO(sqrtd3H3 T + d2H2 E[tau]$最悪の後悔を実現する。 遅延LPSVIのための勾配に基づく近似サンプリングスキームをLangevin動的に組み込んだ。
  論文  参考訳（メタデータ） (2023-10-29T06:12:43Z)
• Robust leave-one-out cross-validation for high-dimensional Bayesian models [0.0]
  レリーブ・ワン・アウト・クロスバリデーション (LOO-CV) は、アウト・オブ・サンプル予測精度を推定するための一般的な手法である。 そこで本研究では,LOO-CV基準を計算するための新しい混合推定器を提案し,解析する。 提案手法は古典的手法の単純さと計算的利便性を保ちながら, 得られた推定値の有限分散を保証している。
  論文  参考訳（メタデータ） (2022-09-19T17:14:52Z)
• Towards Sample-Optimal Compressive Phase Retrieval with Sparse and Generative Priors [59.33977545294148]
  O(k log L)$サンプルは振幅に基づく経験損失関数を最小化する任意のベクトルに信号が近いことを保証するのに十分であることを示す。 この結果はスパース位相検索に適応し、基底信号が$s$-sparseおよび$n$-dimensionalである場合、$O(s log n)$サンプルは同様の保証に十分であることを示す。
  論文  参考訳（メタデータ） (2021-06-29T12:49:54Z)
• LSDAT: Low-Rank and Sparse Decomposition for Decision-based Adversarial Attack [74.5144793386864]
  LSDATは、入力サンプルのスパース成分と対向サンプルのスパース成分によって形成される低次元部分空間における摂動を加工する。 LSDは画像ピクセル領域で直接動作し、スパース性などの非$ell$制約が満たされることを保証します。
  論文  参考訳（メタデータ） (2021-03-19T13:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。