論文の概要: Permuted and Unlinked Monotone Regression in $\mathbb{R}^d$: an approach
based on mixture modeling and optimal transport
- arxiv url: http://arxiv.org/abs/2201.03528v1
- Date: Mon, 10 Jan 2022 18:37:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-11 15:36:18.660734
- Title: Permuted and Unlinked Monotone Regression in $\mathbb{R}^d$: an approach
based on mixture modeling and optimal transport
- Title（参考訳）: {\mathbb{r}^d$:混合モデリングと最適輸送に基づくアプローチにおける置換単調回帰と非連結単調回帰
- Authors: Martin Slawski and Bodhisattva Sen
- Abstract要約: 回帰関数の巡回的単調性の概念は、置換/無リンク回帰モデルにおける同定と推定に十分であることを示す。
我々は,Keefer-Wolfowitz に基づく,計算効率が良く,使いやすいアルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 4.924126492174802
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Suppose that we have a regression problem with response variable Y in
$\mathbb{R}^d$ and predictor X in $\mathbb{R}^d$, for $d \geq 1$. In permuted
or unlinked regression we have access to separate unordered data on X and Y, as
opposed to data on (X,Y)-pairs in usual regression. So far in the literature
the case $d=1$ has received attention, see e.g., the recent papers by Rigollet
and Weed [Information & Inference, 8, 619--717] and Balabdaoui et al. [J. Mach.
Learn. Res., 22(172), 1--60]. In this paper, we consider the general
multivariate setting with $d \geq 1$. We show that the notion of cyclical
monotonicity of the regression function is sufficient for identification and
estimation in the permuted/unlinked regression model. We study permutation
recovery in the permuted regression setting and develop a computationally
efficient and easy-to-use algorithm for denoising based on the Kiefer-Wolfowitz
[Ann. Math. Statist., 27, 887--906] nonparametric maximum likelihood estimator
and techniques from the theory of optimal transport. We provide explicit upper
bounds on the associated mean squared denoising error for Gaussian noise. As in
previous work on the case $d = 1$, the permuted/unlinked setting involves slow
(logarithmic) rates of convergence rooting in the underlying deconvolution
problem. Numerical studies corroborate our theoretical analysis and show that
the proposed approach performs at least on par with the methods in the
aforementioned prior work in the case $d = 1$ while achieving substantial
reductions in terms of computational complexity.
- Abstract（参考訳）: 応答変数 Y が $\mathbb{R}^d$ の回帰問題と $\mathbb{R}^d$ の予測子 X が $d \geq 1$ の回帰問題であるとする。
置換あるいは無リンク回帰では、通常の回帰における (X,Y)-ペアのデータとは対照的に、X と Y 上の非順序データにアクセスできる。
これまでの文献では、$d=1$が注目されており、例えば、Rigollet と Weed による最近の論文 (Information & Inference, 8, 619--717] と Balabdaoui et al. [J. Mach. Learn. Res., 22(172), 1-60] を参照。
本稿では、$d \geq 1$ の一般多変量集合を考える。
回帰関数の巡回単調性の概念は、置換/非連結回帰モデルにおける同定と推定に十分であることを示す。
順列回帰設定における順列の回復について検討し,kiefer-wolfowitz [ann. math. statist., 27, 887--906] 非パラメトリック最大重み推定器と最適輸送理論からの手法に基づく,計算効率と使い易さのアルゴリズムを開発した。
ガウス雑音に付随する平均二乗除算誤差の上界を明示的に提示する。
d = 1$ の場合に関する以前の研究と同様に、置換/非リンク設定は、基礎となるデコンボリューション問題の根底にある収束率(対数)が遅い。
数値的な研究は、我々の理論的分析と相関し、提案手法が上記の場合、$d = 1$の手法と少なくとも同等に機能し、計算複雑性の点で実質的な削減を実現していることを示す。
関連論文リスト
- Stochastic Optimization Algorithms for Instrumental Variable Regression with Streaming Data [17.657917523817243]
この問題を条件付き最適化問題とみなして,器用変分回帰のためのアルゴリズムを開発し,解析する。
最小二乗変数回帰の文脈では、我々のアルゴリズムは行列逆転やミニバッチを必要としない。
任意の$iota>0$に対して$mathcalO(log T/T)$と$mathcalO(1/T1-iota)$の順の収束率を導出する。
論文 参考訳（メタデータ） (2024-05-29T19:21:55Z) - Dimension free ridge regression [10.434481202633458]
我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。
新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
論文 参考訳（メタデータ） (2022-10-16T16:01:05Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳（メタデータ） (2022-06-26T06:51:31Z) - Optimal Online Generalized Linear Regression with Stochastic Noise and
Its Application to Heteroscedastic Bandits [88.6139446295537]
一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。
ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。
本稿では,FTRLに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-28T08:25:26Z) - Polyak-Ruppert Averaged Q-Leaning is Statistically Efficient [90.14768299744792]
我々はPolyak-Ruppert 平均 Q-leaning (平均 Q-leaning) を用いた同期 Q-learning を$gamma$-discounted MDP で検討した。
繰り返し平均$barboldsymbolQ_T$に対して正規性を確立する。
要するに、我々の理論分析は、Q-Leaningの平均は統計的に効率的であることを示している。
論文 参考訳（メタデータ） (2021-12-29T14:47:56Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Query Complexity of Least Absolute Deviation Regression via Robust
Uniform Convergence [26.51921319084656]
最小絶対偏差回帰のクエリ複雑性は、対数係数まで$Theta(d/epsilon2)$であることを示す。
我々は、経験的損失に対する新しい近似保証である、頑健な一様収束の概念を導入する。
論文 参考訳（メタデータ） (2021-02-03T22:54:27Z) - Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably [23.372021234032363]
サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。
私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
論文 参考訳（メタデータ） (2020-10-19T07:15:38Z) - Conditional Uncorrelation and Efficient Non-approximate Subset Selection
in Sparse Regression [72.84177488527398]
相関性の観点からスパース回帰を考察し,条件付き非相関式を提案する。
提案手法により、計算複雑性は、スパース回帰における各候補部分集合に対して$O(frac16k3+mk2+mkd)$から$O(frac16k3+frac12mk2)$に削減される。
論文 参考訳（メタデータ） (2020-09-08T20:32:26Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Regression via Implicit Models and Optimal Transport Cost Minimization [5.144809478361603]
条件付きGAN (CGAN) が回帰に適用されている。
現在のCGAN実装では、古典的なジェネレータ-ディスクリミネータアーキテクチャを使用している。
実確率分布$p(y|x)$と推定分布$hatp(y|x)$との間の最適輸送コストを直接最適化する解を提案する。
論文 参考訳（メタデータ） (2020-03-03T02:26:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。