Fugu-MT 論文翻訳(概要): Sparse Max-Affine Regression

論文の概要: Sparse Max-Affine Regression

arxiv url: http://arxiv.org/abs/2411.02225v2
Date: Wed, 24 Sep 2025 00:11:10 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-25 16:23:42.085153
Title: Sparse Max-Affine Regression
Title（参考訳）: スパースマックスアフィン回帰
Authors: Haitham Kanj, Seonho Kim, Kiryung Lee,
Abstract要約: 本稿では,凸片方向線形回帰における変数選択の解としてスパース勾配を提案する。準ガウス雑音下でのSp-GDの非漸近局所収束解析を行う。スパース一般化をスパースマックスアフィンモデルに変換するために、Real Maslov Dequantization (RMD) と呼ばれる新しい変換を提案する。
参考スコア（独自算出の注目度）: 8.338559499737135
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents Sparse Gradient Descent as a solution for variable selection in convex piecewise linear regression, where the model is given as the maximum of $k$-affine functions $ x \mapsto \max_{j \in [k]} \langle a_j^\star, x \rangle + b_j^\star$ for $j = 1,\dots,k$. Here, $\{ a_j^\star\}_{j=1}^k$ and $\{b_j^\star\}_{j=1}^k$ denote the ground-truth weight vectors and intercepts. A non-asymptotic local convergence analysis is provided for Sp-GD under sub-Gaussian noise when the covariate distribution satisfies the sub-Gaussianity and anti-concentration properties. When the model order and parameters are fixed, Sp-GD provides an $\epsilon$-accurate estimate given $\mathcal{O}(\max(\epsilon^{-2}\sigma_z^2,1)s\log(d/s))$ observations where $\sigma_z^2$ denotes the noise variance. This also implies the exact parameter recovery by Sp-GD from $\mathcal{O}(s\log(d/s))$ noise-free observations. The proposed initialization scheme uses sparse principal component analysis to estimate the subspace spanned by $\{ a_j^\star\}_{j=1}^k$, then applies an $r$-covering search to estimate the model parameters. A non-asymptotic analysis is presented for this initialization scheme when the covariates and noise samples follow Gaussian distributions. When the model order and parameters are fixed, this initialization scheme provides an $\epsilon$-accurate estimate given $\mathcal{O}(\epsilon^{-2}\max(\sigma_z^4,\sigma_z^2,1)s^2\log^4(d))$ observations. A new transformation named Real Maslov Dequantization (RMD) is proposed to transform sparse generalized polynomials into sparse max-affine models. The error decay rate of RMD is shown to be exponentially small in its temperature parameter. Furthermore, theoretical guarantees for Sp-GD are extended to the bounded noise model induced by RMD. Numerical Monte Carlo results corroborate theoretical findings for Sp-GD and the initialization scheme.
Abstract（参考訳）: 本稿では、凸部分回帰における変数選択の解としてスパース勾配 Descent を提案し、このモデルは$k$-affine関数 $ x \mapsto \max_{j \in [k]} \langle a_j^\star, x \rangle + b_j^\star$ for $j = 1,\dots,k$ の最大値として与えられる。ここで、$\{ a_j^\star\}_{j=1}^k$ と $\{b_j^\star\}_{j=1}^k$ は、地軸重みベクトルとインターセプトを表す。共変量分布が準ガウス性および反集束特性を満たすとき、準ガウス雑音下でのSp-GDに対して非漸近局所収束解析を行う。モデル順序とパラメータが固定されたとき、Sp-GD は $\mathcal{O}(\max(\epsilon^{-2}\sigma_z^2,1)s\log(d/s))$ Observation ここで $\sigma_z^2$ はノイズ分散を表す。これはまた、Sp-GD が $\mathcal{O}(s\log(d/s))$ ノイズのない観測から正確なパラメータを復元することを意味する。提案した初期化スキームはスパース主成分分析を用いて$\{ a_j^\star\}_{j=1}^k$で区切られた部分空間を推定し、モデルパラメータを推定するために$r$-covering searchを適用する。共変量と雑音サンプルがガウス分布に従うとき、この初期化スキームに対して非漸近解析が提示される。モデル順序とパラメータが固定されたとき、この初期化スキームは$\mathcal{O}(\epsilon^{-2}\max(\sigma_z^4,\sigma_z^2,1)s^2\log^4(d))$観測された$\epsilon$-正確な推定を与える。スパース一般化多項式をスパースマックス-ファインモデルに変換するために、Real Maslov Dequantization (RMD) と呼ばれる新しい変換を提案する。 RMDの誤差崩壊速度は温度パラメータにおいて指数関数的に小さいことが示されている。さらに、SP-GDの理論的保証は、MDによって誘導される有界雑音モデルに拡張される。モンテカルロ数値計算の結果は、Sp-GDと初期化スキームの理論的な結果と相関する。

関連論文リスト

Spike-and-Slab Posterior Sampling in High Dimensions [11.458504242206862]
スパイク・アンド・スラブ先行法[MB88]による後方サンプリングは,ベイズ・スパース線形回帰の理論的金標準法であると考えられる。我々は,任意のSNRに適用可能なスパイク・アンド・スラブ後続サンプリングのための最初の証明可能なアルゴリズムを提示し,問題次元における測定カウントサブを使用する。ラプラス拡散密度を用いたスパイク・アンド・スラブ後方サンプリングに拡張し、$sigma = O(frac1k)$が有界である場合にも同様の保証を達成する。
論文参考訳（メタデータ） (2025-03-04T17:16:07Z)
Outsourced diffusion sampling: Efficient posterior inference in latent spaces of generative models [65.71506381302815]
本稿では、$p(mathbfxmidmathbfy) propto p_theta(mathbfx)$ という形式の後続分布からサンプリングするコストを償却する。多くのモデルと関心の制約に対して、ノイズ空間の後方はデータ空間の後方よりも滑らかであり、そのような償却推論に対してより快適である。
論文参考訳（メタデータ） (2025-02-10T19:49:54Z)
Dimension-free Private Mean Estimation for Anisotropic Distributions [55.86374912608193]
以前の$mathRd上の分布に関する民間推定者は、次元性の呪いに苦しむ。本稿では,サンプルの複雑さが次元依存性を改善したアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-11-01T17:59:53Z)
Minimax Optimality of Score-based Diffusion Models: Beyond the Density Lower Bound Assumptions [11.222970035173372]
カーネルベースのスコア推定器は$widetildeOleft(n-1 t-fracd+22(tfracd2 vee 1)rightの最適平均二乗誤差を達成する核を用いたスコア推定器は,拡散モデルで生成した試料の分布の総変動誤差に対して,極小ガウスの下での最大平均2乗誤差を$widetildeOleft(n-1/2 t-fracd4right)$上界で達成することを示す。
論文参考訳（メタデータ） (2024-02-23T20:51:31Z)
A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文参考訳（メタデータ） (2023-09-25T17:54:19Z)
(Nearly) Optimal Private Linear Regression via Adaptive Clipping [22.639650869444395]
固定されたガウス型分布から各データ点をサンプリングする微分プライベート線形回帰問題について検討する。本稿では,各イテレーションの点を置換せずにサンプリングする1パスのミニバッチ勾配勾配法(DP-AMBSSGD)を提案し,解析する。
論文参考訳（メタデータ） (2022-07-11T08:04:46Z)
Structure Learning in Graphical Models from Indirect Observations [17.521712510832558]
本稿では、パラメータ法と非パラメトリック法の両方を用いて、Rp$における$p$次元ランダムベクトル$Xのグラフィカル構造を学習する。温和な条件下では、グラフ構造推定器が正しい構造を得ることができることを示す。
論文参考訳（メタデータ） (2022-05-06T19:24:44Z)
Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文参考訳（メタデータ） (2021-10-05T09:33:49Z)
Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
論文参考訳（メタデータ） (2020-07-22T18:18:28Z)
Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文参考訳（メタデータ） (2020-07-16T06:44:44Z)
Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文参考訳（メタデータ） (2020-06-04T17:51:00Z)
Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。