論文の概要: A Parameter-Free Two-Bit Covariance Estimator with Improved Operator Norm Error Rate

• arxiv url: http://arxiv.org/abs/2308.16059v2
• Date: Sun, 10 Nov 2024 12:10:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:05:05.730839
• Title: A Parameter-Free Two-Bit Covariance Estimator with Improved Operator Norm Error Rate
• Title（参考訳）: 演算子ノルム誤差率を改良したパラメータフリー2ビット共分散推定器
• Authors: Junren Chen, Michael K. Ng,
• Abstract要約: 両問題に同時に対処する2ビット共分散行列推定器を提案する。 エントリ毎に異なるディザリングスケールを利用することで、我々の推定器は演算子ノルム誤差率の改善を享受する。 提案手法は、ディザリングスケールがデータによって完全に決定されるため、いかなるチューニングパラメータも不要である。
• 参考スコア（独自算出の注目度）: 23.116373524718988
• License:
• Abstract: A covariance matrix estimator using two bits per entry was recently developed by Dirksen, Maly and Rauhut [Annals of Statistics, 50(6), pp. 3538-3562]. The estimator achieves near minimax rate for general sub-Gaussian distributions, but also suffers from two downsides: theoretically, there is an essential gap on operator norm error between their estimator and sample covariance when the diagonal of the covariance matrix is dominated by only a few entries; practically, its performance heavily relies on the dithering scale, which needs to be tuned according to some unknown parameters. In this work, we propose a new 2-bit covariance matrix estimator that simultaneously addresses both issues. Unlike the sign quantizer associated with uniform dither in Dirksen et al., we adopt a triangular dither prior to a 2-bit quantizer inspired by the multi-bit uniform quantizer. By employing dithering scales varying across entries, our estimator enjoys an improved operator norm error rate that depends on the effective rank of the underlying covariance matrix rather than the ambient dimension, thus closing the theoretical gap. Moreover, our proposed method eliminates the need of any tuning parameter, as the dithering scales are entirely determined by the data. Experimental results under Gaussian samples are provided to showcase the impressive numerical performance of our estimator. Remarkably, by halving the dithering scales, our estimator oftentimes achieves operator norm errors less than twice of the errors of sample covariance.
• Abstract（参考訳）: Dirksen, Maly and Rauhut [Annals of Statistics, 50(6), pp. 3538-3562] の共分散行列推定器を開発した。 理論的には、共分散行列の対角線がわずかなエントリで支配されるとき、その推定器とサンプル共分散の間には作用素ノルム誤差に不可欠なギャップがあり、実際、その性能はディザリングスケールに大きく依存しており、いくつかの未知のパラメータに従って調整する必要がある。 本研究では,両問題を同時に扱う2ビット共分散行列推定器を提案する。 ディルクセン等における一様ディザに付随する符号量子化器とは異なり、多ビット一様量化器にインスパイアされた2ビットの量子化器に先立って三角形のディザを採用する。 成分ごとに異なるディザリングスケールを用いることで、我々の推定器は、周囲次元よりも基礎となる共分散行列の有効ランクに依存する改良された作用素ノルム誤差率を享受し、理論的ギャップを閉じる。 さらに,提案手法では,ディザリングスケールがデータによって完全に決定されるため,任意のチューニングパラメータの必要性を排除している。 ガウスサンプルによる実験結果から, 推定器の数値性能について考察した。 顕著なことに、ディザリングスケールを半分にすることで、我々の推定器はしばしば、サンプル共分散の2倍未満の演算子ノルム誤差を達成する。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• A Geometric Unification of Distributionally Robust Covariance Estimators: Shrinking the Spectrum by Inflating the Ambiguity Set [20.166217494056916]
  制約的な仮定を課さずに共分散推定器を構築するための原理的手法を提案する。 頑健な推定器は効率的に計算可能で一貫したものであることを示す。 合成および実データに基づく数値実験により、我々の頑健な推定器は最先端の推定器と競合していることが示された。
  論文  参考訳（メタデータ） (2024-05-30T15:01:18Z)
• Nearest Neighbor Sampling for Covariate Shift Adaptation [7.940293148084844]
  重みを推定しない新しい共変量シフト適応法を提案する。 基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。 実験の結果, 走行時間を大幅に短縮できることがわかった。
  論文  参考訳（メタデータ） (2023-12-15T17:28:09Z)
• Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
  最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。 最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。 また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
  論文  参考訳（メタデータ） (2023-06-14T11:02:08Z)
• Quantizing Heavy-tailed Data in Statistical Estimation: (Near) Minimax Rates, Covariate Quantization, and Uniform Recovery [22.267482745621997]
  本稿では,いくつかの統計的推定問題における重み付きデータの定量化について検討する。 我々は、均一な量子化の前にデータを切断し、適切に拡張することを提案する。
  論文  参考訳（メタデータ） (2022-12-30T06:28:30Z)
• Noise Covariance Estimation in Multi-Task High-dimensional Linear Models [8.807375890824977]
  本稿では,タスク間のノイズが相関するマルチタスク高次元線形回帰モデルについて検討する。 回帰係数をニュアンスパラメータとして扱い、マルチタスク弾性ネットとマルチタスクラッソ推定器を用いてニュアンスを推定する。 適切な条件下では、提案した推定器は「おかしな」推定器と同じ収束率に達する。
  論文  参考訳（メタデータ） (2022-06-15T02:37:37Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Nonparametric Estimation of the Fisher Information and Its Applications [82.00720226775964]
  本稿では,大きさn$のランダムサンプルからフィッシャー情報の位置推定の問題について考察する。 Bhattacharyaにより提案された推定器を再検討し、収束率の向上を導出する。 クリッピング推定器と呼ばれる新しい推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-07T17:21:56Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。