論文の概要: Fast Nonlinear Vector Quantile Regression
- arxiv url: http://arxiv.org/abs/2205.14977v3
- Date: Fri, 2 Jun 2023 13:04:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 21:17:22.710111
- Title: Fast Nonlinear Vector Quantile Regression
- Title（参考訳）: 高速非線形ベクトル量子回帰
- Authors: Aviv A. Rosenberg, Sanketh Vedula, Yaniv Romano, Alex M. Bronstein
- Abstract要約: 量子回帰(QR)は、ターゲット変数の1つ以上の条件量子化を推定する強力なツールである。
ベクトル量子回帰(VQR)は、ベクトル値のターゲット変数に対するQRの拡張として提案された。
- 参考スコア（独自算出の注目度）: 13.606557840299036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantile regression (QR) is a powerful tool for estimating one or more
conditional quantiles of a target variable $\mathrm{Y}$ given explanatory
features $\boldsymbol{\mathrm{X}}$. A limitation of QR is that it is only
defined for scalar target variables, due to the formulation of its objective
function, and since the notion of quantiles has no standard definition for
multivariate distributions. Recently, vector quantile regression (VQR) was
proposed as an extension of QR for vector-valued target variables, thanks to a
meaningful generalization of the notion of quantiles to multivariate
distributions via optimal transport. Despite its elegance, VQR is arguably not
applicable in practice due to several limitations: (i) it assumes a linear
model for the quantiles of the target $\boldsymbol{\mathrm{Y}}$ given the
features $\boldsymbol{\mathrm{X}}$; (ii) its exact formulation is intractable
even for modestly-sized problems in terms of target dimensions, number of
regressed quantile levels, or number of features, and its relaxed dual
formulation may violate the monotonicity of the estimated quantiles; (iii) no
fast or scalable solvers for VQR currently exist. In this work we fully address
these limitations, namely: (i) We extend VQR to the non-linear case, showing
substantial improvement over linear VQR; (ii) We propose {vector monotone
rearrangement}, a method which ensures the quantile functions estimated by VQR
are monotone functions; (iii) We provide fast, GPU-accelerated solvers for
linear and nonlinear VQR which maintain a fixed memory footprint, and
demonstrate that they scale to millions of samples and thousands of quantile
levels; (iv) We release an optimized python package of our solvers as to
widespread the use of VQR in real-world applications.
- Abstract（参考訳）: quantile regression (qr) は、対象変数 $\mathrm{y}$ が与えられた説明的特徴 $\boldsymbol{\mathrm{x}}$ の1つ以上の条件付き量子タイルを推定するための強力なツールである。
QRの制限は、目的関数の定式化のため、スカラー対象変数に対してのみ定義され、また、量子化の概念は多変量分布の標準的な定義を持たないためである。
近年,ベクトル量子量軸回帰(vector quantile regression, vqr)が,ベクトル値対象変数に対するqrの拡張として提案されている。
その優雅さにもかかわらず、VQRはいくつかの制限のために実際は適用されない。
(i) 目的の $\boldsymbol{\mathrm{Y}}$ の量子化に対する線型モデルを仮定し、その特徴を $\boldsymbol{\mathrm{X}}$ と仮定する。
(二)その厳密な定式化は、目標次元、回帰量子度数、特徴数において適度な大きさの問題であっても難解であり、その緩和された二重定式化は、推定された量子度の単調性に反する可能性がある。
(iii)VQRの高速かつスケーラブルな解法は存在しない。
この作業では、これらの制限、すなわち:
(i)vqrを非線形の場合まで拡張し、線形vqrよりも大幅に改善する。
(ii) vqr で推定される分位関数が単子関数であることを保証する方法である {vector monotone rerangement} を提案する。
3) 固定メモリフットプリントを維持する線形および非線形VQRに対して,高速でGPUを高速化した解法を提供し,数百万のサンプルと数千の量子レベルにスケールできることを実証する。
(iv)現実のアプリケーションでVQRを広く活用するために,解決者の最適化されたピソンパッケージをリリースする。
関連論文リスト
- Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。
我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
論文 参考訳（メタデータ） (2024-10-29T00:01:04Z) - fastkqr: A Fast Algorithm for Kernel Quantile Regression [6.850636409964172]
我々は、再生されたカーネルヒルベルト空間における量子レグレッションの計算を大幅に改善するfastkqrを導入する。
fastkqrのコアは、近似よりも正確に回帰量子を魔法のように生成する有限な平滑化アルゴリズムである。
さらに、Fastkqrを拡張して、データ駆動の交差ペナルティで柔軟なカーネル量子化レグレッションを実現する。
論文 参考訳（メタデータ） (2024-08-10T00:18:56Z) - Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。
本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。
これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文 参考訳（メタデータ） (2024-06-05T13:36:38Z) - HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
ベクトル量子化(HyperVQ)における双曲空間の利用について検討する。
本稿では,高VQが識別タスクにおいてVQを上回り,高度に絡み合った潜在空間を学習しながら,再建作業や生成作業において相容れない性能を発揮することを示す。
論文 参考訳（メタデータ） (2024-03-18T03:17:08Z) - Vector Quantile Regression on Manifolds [8.328891187733841]
QR(Quantile regression)は、対象変数の条件量子化の分布自由度推定のための統計ツールである。
最適輸送理論とc-凹関数を活用することにより、高次元変数の条件ベクトル量子関数を有意に定義する。
提案手法の有効性を実証し, 合成および実データ実験による非ユークリッド量子化の意味に関する知見を提供する。
論文 参考訳（メタデータ） (2023-07-03T14:17:12Z) - Deep Non-Crossing Quantiles through the Partial Derivative [0.6299766708197883]
量子回帰(Quantile Regression)は、単一の条件量子を近似する方法を提供する。
QRロス関数の最小化は、非交差量子化を保証しない。
任意の数の量子を予測するための汎用的なディープラーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-01-30T15:35:21Z) - Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。
我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。
我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
論文 参考訳（メタデータ） (2021-06-10T06:11:55Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳（メタデータ） (2021-06-07T17:44:49Z) - Regularization Strategies for Quantile Regression [8.232258589877942]
連続的な量子の分布に対するピンボール損失を最小化することは、特定の量子の予測のみを行う場合でも良い正則化器であることを示す。
格子モデルにより予測された分布を位置スケールの族に正規化できることを示す。
論文 参考訳（メタデータ） (2021-02-09T21:10:35Z) - Multi-target regression via output space quantization [0.3007949058551534]
MRQと呼ばれる提案手法は、複数の連続目標を1つ以上の離散目標に変換するために出力空間を定量化するアイデアに基づいている。
ベンチマークデータセットの大規模なコレクションの実験は、MRQが高度にスケーラブルであり、精度の面で最先端と競合していることを示している。
論文 参考訳（メタデータ） (2020-03-22T13:57:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。