論文の概要: Pathwise optimization for bridge-type estimators and its applications

• arxiv url: http://arxiv.org/abs/2412.04047v1
• Date: Thu, 05 Dec 2024 10:38:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:41:43.204415
• Title: Pathwise optimization for bridge-type estimators and its applications
• Title（参考訳）: 橋梁型推定器のパスワイズ最適化とその応用
• Authors: Alessandro De Gregorio, Francesco Iafrate,
• Abstract要約: パスワイズ法は、ペナライズされた推定器の完全な経路を効率的に計算することができる。 これらのアルゴリズムを離散時間で観測されたプロセスのペナル化推定に適用する。
• 参考スコア（独自算出の注目度）: 49.1574468325115
• License:
• Abstract: Sparse parametric models are of great interest in statistical learning and are often analyzed by means of regularized estimators. Pathwise methods allow to efficiently compute the full solution path for penalized estimators, for any possible value of the penalization parameter $\lambda$. In this paper we deal with the pathwise optimization for bridge-type problems; i.e. we are interested in the minimization of a loss function, such as negative log-likelihood or residual sum of squares, plus the sum of $\ell^q$ norms with $q\in(0,1]$ involving adpative coefficients. For some loss functions this regularization achieves asymptotically the oracle properties (such as the selection consistency). Nevertheless, since the objective function involves nonconvex and nondifferentiable terms, the minimization problem is computationally challenging. The aim of this paper is to apply some general algorithms, arising from nonconvex optimization theory, to compute efficiently the path solutions for the adaptive bridge estimator with multiple penalties. In particular, we take into account two different approaches: accelerated proximal gradient descent and blockwise alternating optimization. The convergence and the path consistency of these algorithms are discussed. In order to assess our methods, we apply these algorithms to the penalized estimation of diffusion processes observed at discrete times. This latter represents a recent research topic in the field of statistics for time-dependent data.
• Abstract（参考訳）: スパースパラメトリックモデルは統計学習に大きな関心を持ち、正規化推定器によってしばしば分析される。 パスワイズメソッドは、ペナライズパラメータ$\lambda$の任意の値に対して、ペナライズされた推定器の完全なソリューションパスを効率的に計算することができる。 本稿では、橋梁型問題に対するパスワイズ最適化、すなわち、負の対数や正方形の残余和などの損失関数の最小化、および$q\in(0,1]$による$\ell^q$ノルムの和に関心がある。 いくつかの損失関数に対して、この正則化は漸近的にオラクル特性(選択整合性など)を達成する。 それでも、目的関数は非凸かつ微分不可能な項を含むため、最小化問題は計算的に困難である。 本研究の目的は,非凸最適化理論から生じる一般アルゴリズムを適用し,適応型橋梁推定器の経路解を効率よく計算することである。 特に、近位勾配降下の加速とブロックワイズ最適化の2つの異なるアプローチを考慮する。 これらのアルゴリズムの収束性と経路整合性について論じる。 本手法を評価するために, 離散時間で観測された拡散過程のペナル化推定にこれらのアルゴリズムを適用した。 後者は、時間依存データに関する統計学の分野における最近の研究トピックである。

関連論文リスト

• Provable benefits of annealing for estimating normalizing constants: Importance Sampling, Noise-Contrastive Estimation, and beyond [24.86929310909572]
  幾何経路を用いることで、指数関数から目標と提案の間の距離の関数への推定誤差が減少することを示す。 最適経路を効率的に近似する2段階推定器を提案する。
  論文  参考訳（メタデータ） (2023-10-05T21:16:55Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
  予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。 本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。 本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-04T00:26:56Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Robust estimation via generalized quasi-gradients [28.292300073453877]
  最近提案されたロバスト推定問題の多くが効率的に解ける理由を示す。 我々は「一般化された準次数」の存在を識別する 一般化された準勾配が存在することを示し、効率的なアルゴリズムを構築する。
  論文  参考訳（メタデータ） (2020-05-28T15:14:33Z)
• Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
  本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。 本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
  論文  参考訳（メタデータ） (2020-05-10T19:52:03Z)
• The estimation error of general first order methods [12.472245917779754]
  我々は,高次元回帰と低次元行列推定という2種類の推定問題を考察する。 我々は、観測数とパラメータ数の両方が分岐する高次元最適値の誤差を下界に導出する。 これらの下界は、推定誤差が下界とわずかに無視可能な項に一致するアルゴリズムが存在することを意味している。
  論文  参考訳（メタデータ） (2020-02-28T18:13:47Z)
• Stochastic Optimization for Regularized Wasserstein Estimators [10.194798773447879]
  ワッサーシュタイン推定器勾配の正規化版を、自然次元のサブ線形なステップ毎の時間で解くアルゴリズムを導入する。 このアルゴリズムは他のタスクにも拡張可能であることを示し、その中にはWasserstein Barycentersの推定も含まれる。
  論文  参考訳（メタデータ） (2020-02-20T12:04:05Z)
• Super-efficiency of automatic differentiation for functions defined as a minimum [16.02151272607889]
  min-min最適化では、最小値として定義される関数の勾配を計算する必要がある。 本稿では,これらの推定器による誤差を最適化誤差の関数として検討する。
  論文  参考訳（メタデータ） (2020-02-10T13:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。