論文の概要: Quantized Low-Rank Multivariate Regression with Random Dithering
- arxiv url: http://arxiv.org/abs/2302.11197v3
- Date: Sat, 7 Oct 2023 02:07:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 14:35:36.423491
- Title: Quantized Low-Rank Multivariate Regression with Random Dithering
- Title(参考訳): ランダムディザリングを用いた量子化低ランク多変量回帰
- Authors: Junren Chen, Yueqi Wang, Michael K. Ng
- Abstract要約: 低ランク多変量回帰(LRMR)は重要な統計的学習モデルである。
基礎となる係数行列の推定に焦点をあてる。
我々は、ランダムディザリングを伴う均一な量子化、すなわち、量子化の前に適切なランダムノイズをデータに追加する。
制約付きラッソおよび正規化ラッソ推定器を提案し、非漸近誤差境界を導出する。
- 参考スコア(独自算出の注目度): 23.81618208119832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-rank multivariate regression (LRMR) is an important statistical learning
model that combines highly correlated tasks as a multiresponse regression
problem with low-rank priori on the coefficient matrix. In this paper, we study
quantized LRMR, a practical setting where the responses and/or the covariates
are discretized to finite precision. We focus on the estimation of the
underlying coefficient matrix. To make consistent estimator that could achieve
arbitrarily small error possible, we employ uniform quantization with random
dithering, i.e., we add appropriate random noise to the data before
quantization. Specifically, uniform dither and triangular dither are used for
responses and covariates, respectively. Based on the quantized data, we propose
the constrained Lasso and regularized Lasso estimators, and derive the
non-asymptotic error bounds. With the aid of dithering, the estimators achieve
minimax optimal rate, while quantization only slightly worsens the
multiplicative factor in the error rate. Moreover, we extend our results to a
low-rank regression model with matrix responses. We corroborate and demonstrate
our theoretical results via simulations on synthetic data or image restoration.
- Abstract(参考訳): 低ランク多変量回帰(LRMR)は,多応答回帰問題として高相関なタスクと,係数行列上の低ランク優先問題を組み合わせた重要な統計学習モデルである。
本稿では,応答および/または共変量が有限精度に離散化される実測的なLRMRについて検討する。
基礎となる係数行列の推定に焦点をあてる。
任意に小さい誤差を許容できる一貫した推定器を実現するために、ランダムディザリングを伴う一様量子化、すなわち量子化前に適切なランダムノイズをデータに追加する。
特に、一様ディザーと三角形ディザーは、それぞれ応答と共変量に使用される。
量子化データに基づいて、制約付きラッソおよび正規化ラッソ推定器を提案し、非漸近誤差境界を導出する。
ディザリングの助けを借りて、推定子は最小値の最適率を達成する一方、量子化は誤差率の乗算係数をわずかに悪化させる。
さらに, 行列応答を持つ低ランク回帰モデルに結果を拡張した。
合成データや画像復元のシミュレーションによって, 理論的結果と相関し, 実証する。
関連論文リスト
- On the design-dependent suboptimality of the Lasso [27.970033039287884]
最小特異値が小さい場合、ラッソ推定器は、確実に最小値であることを示す。
我々の下限は、ラッソの全ての形態のまばらな統計的最適性を妨げるのに十分強い。
論文 参考訳(メタデータ) (2024-02-01T07:01:54Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳(メタデータ) (2023-06-05T21:08:34Z) - Quantizing Heavy-tailed Data in Statistical Estimation: (Near) Minimax
Rates, Covariate Quantization, and Uniform Recovery [22.267482745621997]
本稿では,いくつかの統計的推定問題における重み付きデータの定量化について検討する。
我々は、均一な量子化の前にデータを切断し、適切に拡張することを提案する。
論文 参考訳(メタデータ) (2022-12-30T06:28:30Z) - Communication-Efficient Distributed Quantile Regression with Optimal
Statistical Guarantees [2.064612766965483]
本稿では,分散量子レグレッションにおいて,厳密なスケーリング条件を伴わずに最適な推論を実現する方法の課題に対処する。
この問題は、ローカル(各データソース)とグローバルな目的関数に適用される二重平滑化アプローチによって解決される。
局所的および大域的滑らか化パラメータの微妙な組み合わせに依存するにもかかわらず、量子回帰モデルは完全にパラメトリックである。
論文 参考訳(メタデータ) (2021-10-25T17:09:59Z) - Solving weakly supervised regression problem using low-rank manifold
regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。
weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。
数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文 参考訳(メタデータ) (2021-04-13T23:21:01Z) - Model-based multi-parameter mapping [0.0]
定量的MRイメージングは、よりリッチな情報の内容と標準化された測定基準のためにますます好まれている。
推定はしばしば、異なる量のデータを分離して解くために、データのノイズサブセットを仮定する。
代わりに、生成モデルは定式化され、パラメータ推定を共同で回復するために反転することができる。
論文 参考訳(メタデータ) (2021-02-02T17:00:11Z) - Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient
Estimator [93.05919133288161]
一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。
これは平均二乗誤差を確実に減少させる。
これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
論文 参考訳(メタデータ) (2020-10-09T22:54:38Z) - Robust regression with covariate filtering: Heavy tails and adversarial
contamination [6.939768185086755]
より強い汚染モデルにおいて,ハマー回帰,最小トリミング正方形,最小絶対偏差推定器を同時に計算および統計的に効率的に推定する方法を示す。
この設定では、ハマー回帰推定器がほぼ最適誤差率を達成するのに対し、最小のトリミング正方形と最小の絶対偏差推定器は、後処理ステップを適用した後、ほぼ最適誤差を達成することができる。
論文 参考訳(メタデータ) (2020-09-27T22:48:48Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z) - SUMO: Unbiased Estimation of Log Marginal Probability for Latent
Variable Models [80.22609163316459]
無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。
推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
論文 参考訳(メタデータ) (2020-04-01T11:49:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。