論文の概要: Simultaneous off-the-grid learning of mixtures issued from a continuous
dictionary
- arxiv url: http://arxiv.org/abs/2210.16311v1
- Date: Thu, 27 Oct 2022 06:43:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 16:53:29.947211
- Title: Simultaneous off-the-grid learning of mixtures issued from a continuous
dictionary
- Title(参考訳): 連続辞書から発行される混合物の同時学習
- Authors: Cristina Butucea (CREST), Jean-Fran\c{c}ois Delmas (CERMICS), Anne
Dutfoy (EDF R\&D), Cl\'ement Hardy (CERMICS, EDF R\&D)
- Abstract要約: 正規化最適化問題を定式化し, 混合系の線形係数を同時に推定する。
推定器に付随する予測誤差に高い確率境界を証明した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we observe a set, possibly a continuum, of signals corrupted by
noise. Each signal is a finite mixture of an unknown number of features
belonging to a continuous dictionary. The continuous dictionary is parametrized
by a real non-linear parameter. We shall assume that the signals share an
underlying structure by saying that the union of active features in the whole
dataset is finite. We formulate regularized optimization problems to estimate
simultaneously the linear coefficients in the mixtures and the non-linear
parameters of the features. The optimization problems are composed of a data
fidelity term and a (l1 , Lp)-penalty. We prove high probability bounds on the
prediction errors associated to our estimators. The proof is based on the
existence of certificate functions. Following recent works on the geometry of
off-the-grid methods, we show that such functions can be constructed provided
the parameters of the active features are pairwise separated by a constant with
respect to a Riemannian metric. When the number of signals is finite and the
noise is assumed Gaussian, we give refinements of our results for p = 1 and p =
2 using tail bounds on suprema of Gaussian and $\chi$2 random processes. When p
= 2, our prediction error reaches the rates obtained by the Group-Lasso
estimator in the multi-task linear regression model.
- Abstract(参考訳): 本稿では、ノイズによって劣化した信号の集合、おそらく連続体を観察する。
各信号は連続辞書に属する未知の数の特徴の有限混合である。
連続辞書は実際の非線形パラメータによってパラメータ化される。
信号は、データセット全体のアクティブな特徴の結合が有限であると言うことによって、基礎構造を共有すると仮定する。
我々は正規化された最適化問題を定式化し、混合の線形係数と特徴の非線形パラメータを同時に推定する。
最適化問題は、データ忠実性項と(l1,lp)ペナルティからなる。
我々は推定器に付随する予測誤差に対する高い確率境界を証明した。
証明は証明書関数の存在に基づいている。
オフ・ザ・グリッド法の幾何学に関する最近の研究に続いて、アクティブな特徴のパラメータがリーマン計量に関して定数によって一対に分離されるので、そのような関数を構成できることを示した。
信号数が有限でノイズがガウス過程と仮定された場合、ガウス過程のsupremaと$\chi$2のランダム過程のテール境界を用いて、p = 1 と p = 2 に対する結果の精細化を行う。
p = 2 の場合、予測誤差はマルチタスク線形回帰モデルにおいて群ラッソ推定器によって得られる速度に達する。
関連論文リスト
- Off-the-grid prediction and testing for mixtures of translated features [0.0]
付加的なガウス雑音過程で信号(離散あるいは連続)が観測されるモデルを考える。
我々は,スケールパラメータが変化する可能性を考慮して,オフ・ザ・グリッド推定器の過去の予測結果を拡張した。
本稿では,本モデルに対する適合性テストを提案し,テストリスクとミニマックス分離率の非漸近的上限を与える。
論文 参考訳(メタデータ) (2022-12-02T13:48:45Z) - Off-the-grid learning of sparse mixtures from a continuous dictionary [0.0]
信号が未知の、おそらく増大する可能性のある、真の非線形パラメータによってパラメータ化された連続辞書から発行される特徴の有限混合である一般非線形モデルを考える。
そこで本研究では,パラメータ空間上の離散化スキームを一切用いないオフ・ザ・グリッド最適化手法を提案する。
証明関数を補間するような真の非線形パラメータの分離を最小限に抑えるために、オフ・ザ・グリッド法の幾何学に関する最近の結果を用いる。
論文 参考訳(メタデータ) (2022-06-29T07:55:20Z) - Statistical Inference of Constrained Stochastic Optimization via
Sketched Sequential Quadratic Programming [59.36379287247961]
この問題を解決するために,完全オンライン逐次2次プログラミング(StoSQP)手法を開発した。
最近の数値二階法の設計により、StoSQPは任意のランダムなステップサイズを適応的に選択できる。
また,2次法の計算コストを大幅に削減するため,StoSQPはランダム化反復解法を用いて2次プログラムを不正確に解けるようにした。
論文 参考訳(メタデータ) (2022-05-27T00:34:03Z) - Optimal and instance-dependent guarantees for Markovian linear
stochastic approximation [77.84027086542827]
標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。
マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
論文 参考訳(メタデータ) (2021-12-23T18:47:50Z) - Last iterate convergence of SGD for Least-Squares in the Interpolation
regime [19.05750582096579]
基本最小二乗構成におけるノイズレスモデルについて検討する。
最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
論文 参考訳(メタデータ) (2021-02-05T14:02:20Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z) - Tight Nonparametric Convergence Rates for Stochastic Gradient Descent
under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。
特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文 参考訳(メタデータ) (2020-06-15T08:25:50Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳(メタデータ) (2020-06-09T02:05:40Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳(メタデータ) (2020-04-09T17:54:18Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳(メタデータ) (2020-02-10T23:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。