論文の概要: Quantized Low-Rank Multivariate Regression with Random Dithering

• arxiv url: http://arxiv.org/abs/2302.11197v3
• Date: Sat, 7 Oct 2023 02:07:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 14:35:36.423491
• Title: Quantized Low-Rank Multivariate Regression with Random Dithering
• Title（参考訳）: ランダムディザリングを用いた量子化低ランク多変量回帰
• Authors: Junren Chen, Yueqi Wang, Michael K. Ng
• Abstract要約: 低ランク多変量回帰(LRMR)は重要な統計的学習モデルである。 基礎となる係数行列の推定に焦点をあてる。 我々は、ランダムディザリングを伴う均一な量子化、すなわち、量子化の前に適切なランダムノイズをデータに追加する。 制約付きラッソおよび正規化ラッソ推定器を提案し、非漸近誤差境界を導出する。
• 参考スコア（独自算出の注目度）: 23.81618208119832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank multivariate regression (LRMR) is an important statistical learning model that combines highly correlated tasks as a multiresponse regression problem with low-rank priori on the coefficient matrix. In this paper, we study quantized LRMR, a practical setting where the responses and/or the covariates are discretized to finite precision. We focus on the estimation of the underlying coefficient matrix. To make consistent estimator that could achieve arbitrarily small error possible, we employ uniform quantization with random dithering, i.e., we add appropriate random noise to the data before quantization. Specifically, uniform dither and triangular dither are used for responses and covariates, respectively. Based on the quantized data, we propose the constrained Lasso and regularized Lasso estimators, and derive the non-asymptotic error bounds. With the aid of dithering, the estimators achieve minimax optimal rate, while quantization only slightly worsens the multiplicative factor in the error rate. Moreover, we extend our results to a low-rank regression model with matrix responses. We corroborate and demonstrate our theoretical results via simulations on synthetic data or image restoration.
• Abstract（参考訳）: 低ランク多変量回帰(LRMR)は,多応答回帰問題として高相関なタスクと,係数行列上の低ランク優先問題を組み合わせた重要な統計学習モデルである。 本稿では,応答および/または共変量が有限精度に離散化される実測的なLRMRについて検討する。 基礎となる係数行列の推定に焦点をあてる。 任意に小さい誤差を許容できる一貫した推定器を実現するために、ランダムディザリングを伴う一様量子化、すなわち量子化前に適切なランダムノイズをデータに追加する。 特に、一様ディザーと三角形ディザーは、それぞれ応答と共変量に使用される。 量子化データに基づいて、制約付きラッソおよび正規化ラッソ推定器を提案し、非漸近誤差境界を導出する。 ディザリングの助けを借りて、推定子は最小値の最適率を達成する一方、量子化は誤差率の乗算係数をわずかに悪化させる。 さらに, 行列応答を持つ低ランク回帰モデルに結果を拡張した。 合成データや画像復元のシミュレーションによって, 理論的結果と相関し, 実証する。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Distributed High-Dimensional Quantile Regression: Estimation Efficiency and Support Recovery [0.0]
  我々は高次元線形量子レグレッションのための分散推定とサポート回復に焦点をあてる。 元の量子レグレッションを最小二乗最適化に変換する。 効率的なアルゴリズムを開発し、高い計算と通信効率を享受する。
  論文  参考訳（メタデータ） (2024-05-13T08:32:22Z)
• On the design-dependent suboptimality of the Lasso [27.970033039287884]
  最小特異値が小さい場合、ラッソ推定器は、確実に最小値であることを示す。 我々の下限は、ラッソの全ての形態のまばらな統計的最適性を妨げるのに十分強い。
  論文  参考訳（メタデータ） (2024-02-01T07:01:54Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Quantizing Heavy-tailed Data in Statistical Estimation: (Near) Minimax Rates, Covariate Quantization, and Uniform Recovery [22.267482745621997]
  本稿では,いくつかの統計的推定問題における重み付きデータの定量化について検討する。 我々は、均一な量子化の前にデータを切断し、適切に拡張することを提案する。
  論文  参考訳（メタデータ） (2022-12-30T06:28:30Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Robust regression with covariate filtering: Heavy tails and adversarial contamination [6.939768185086755]
  より強い汚染モデルにおいて,ハマー回帰,最小トリミング正方形,最小絶対偏差推定器を同時に計算および統計的に効率的に推定する方法を示す。 この設定では、ハマー回帰推定器がほぼ最適誤差率を達成するのに対し、最小のトリミング正方形と最小の絶対偏差推定器は、後処理ステップを適用した後、ほぼ最適誤差を達成することができる。
  論文  参考訳（メタデータ） (2020-09-27T22:48:48Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。