論文の概要: Simultaneous off-the-grid learning of mixtures issued from a continuous dictionary

• arxiv url: http://arxiv.org/abs/2210.16311v2
• Date: Fri, 23 Feb 2024 08:32:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 18:59:21.933603
• Title: Simultaneous off-the-grid learning of mixtures issued from a continuous dictionary
• Title（参考訳）: 連続辞書から発行される混合物の同時学習
• Authors: Cristina Butucea (CREST, FAIRPLAY), Jean-Fran\c{c}ois Delmas (CERMICS), Anne Dutfoy (EDF R&D), Cl\'ement Hardy (CERMICS, EDF R&D)
• Abstract要約: ノイズによる信号の連続を観測する。 各信号は連続辞書に属する未知の数の特徴の有限混合である。 正規化最適化問題を定式化し, 混合系の線形係数を同時に推定する。
• 参考スコア（独自算出の注目度）: 0.4369058206183195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we observe a set, possibly a continuum, of signals corrupted by noise. Each signal is a finite mixture of an unknown number of features belonging to a continuous dictionary. The continuous dictionary is parametrized by a real non-linear parameter. We shall assume that the signals share an underlying structure by assuming that each signal has its active features included in a finite and sparse set. We formulate regularized optimization problem to estimate simultaneously the linear coefficients in the mixtures and the non-linear parameters of the features. The optimization problem is composed of a data fidelity term and a $(\ell_1,L^p)$-penalty. We call its solution the Group-Nonlinear-Lasso and provide high probability bounds on the prediction error using certificate functions. Following recent works on the geometry of off-the-grid methods, we show that such functions can be constructed provided the parameters of the active features are pairwise separated by a constant with respect to a Riemannian metric.When the number of signals is finite and the noise is assumed Gaussian, we give refinements of our results for $p=1$ and $p=2$ using tail bounds on suprema of Gaussian and $\chi^2$ random processes. When $p=2$, our prediction error reaches the rates obtained by the Group-Lasso estimator in the multi-task linear regression model. Furthermore, for $p=2$ these prediction rates are faster than for $p=1$ when all signals share most of the non-linear parameters.
• Abstract（参考訳）: 本稿では、ノイズによって劣化した信号の集合、おそらく連続体を観察する。 各信号は連続辞書に属する未知の数の特徴の有限混合である。 連続辞書は実際の非線形パラメータによってパラメータ化される。 信号は、各信号が有限かつスパースな集合に含まれる活動的特徴を持つと仮定して、基礎構造を共有すると仮定する。 我々は正規化最適化問題を定式化し、混合系の線形係数と特徴量の非線形パラメータを同時に推定する。 最適化問題は、データ忠実度項と$(\ell_1,L^p)$-penaltyからなる。 我々はその解をGroup-Nonlinear-Lassoと呼び、証明関数を用いた予測誤差に高い確率境界を与える。 オフ・ザ・グリッド法(英語版)の幾何学に関する最近の研究に続いて、アクティブな特徴のパラメータがリーマン計量に関する定数によって一対に分離された場合に、そのような関数を構成できることを示した。信号の数が有限でノイズがガウス的と仮定された場合、ガウス過程のsupremaと$\chi^2$の無作為過程のテール境界を用いて、結果の精細化を行う。 p=2$の場合、予測誤差はマルチタスク線形回帰モデルで group-lasso estimator によって得られたレートに達する。 さらに、$p=2$の場合、すべての信号が非線形パラメータのほとんどを共有する場合、これらの予測レートは$p=1$よりも速い。

関連論文リスト

• Nonlinear Stochastic Gradient Descent and Heavy-tailed Noise: A Unified Framework and High-probability Guarantees [56.80920351680438]
  本研究では,重音の存在下でのオンライン学習における高確率収束について検討する。 切断のみを考慮し、有界な$p$-thモーメントでノイズを必要とする最先端技術と比較して、幅広い非線形性の保証を提供する。
  論文  参考訳（メタデータ） (2024-10-17T18:25:28Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise [59.25598762373543]
  重み付き雑音の存在下でのストリーミングデータにおける学習の精度保証について検討した。 解析的に、与えられた問題に対する設定の選択に$ta$を使うことができることを実証する。
  論文  参考訳（メタデータ） (2023-10-28T18:53:41Z)
• Off-the-grid prediction and testing for linear combination of translated features [2.774897240515734]
  付加的なガウス雑音過程で信号(離散あるいは連続)が観測されるモデルを考える。 我々は,スケールパラメータが変化する可能性を考慮して,オフ・ザ・グリッド推定器の過去の予測結果を拡張した。 本稿では,観測信号の特徴が与えられた有限集合に属するか否かを検証する手法を提案する。
  論文  参考訳（メタデータ） (2022-12-02T13:48:45Z)
• Off-the-grid learning of sparse mixtures from a continuous dictionary [0.0]
  信号が未知の、おそらく増大する可能性のある、真の非線形パラメータによってパラメータ化された連続辞書から発行される特徴の有限混合である一般非線形モデルを考える。 そこで本研究では,パラメータ空間上の離散化スキームを一切用いないオフ・ザ・グリッド最適化手法を提案する。 証明関数を補間するような真の非線形パラメータの分離を最小限に抑えるために、オフ・ザ・グリッド法の幾何学に関する最近の結果を用いる。
  論文  参考訳（メタデータ） (2022-06-29T07:55:20Z)
• Last iterate convergence of SGD for Least-Squares in the Interpolation regime [19.05750582096579]
  基本最小二乗構成におけるノイズレスモデルについて検討する。 最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
  論文  参考訳（メタデータ） (2021-02-05T14:02:20Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Tight Nonparametric Convergence Rates for Stochastic Gradient Descent under the Noiseless Linear Model [0.0]
  このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。 特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
  論文  参考訳（メタデータ） (2020-06-15T08:25:50Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)
• Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
  非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。 特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
  論文  参考訳（メタデータ） (2020-02-10T23:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。