論文の概要: Characterizing the SLOPE Trade-off: A Variational Perspective and the Donoho-Tanner Limit

• arxiv url: http://arxiv.org/abs/2105.13302v1
• Date: Thu, 27 May 2021 16:56:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-28 16:27:40.164481
• Title: Characterizing the SLOPE Trade-off: A Variational Perspective and the Donoho-Tanner Limit
• Title（参考訳）: SLOPEトレードオフの特徴付け:変分的視点とDonoho-Tanner制限
• Authors: Zhiqi Bu, Jason Klusowski, Cynthia Rush, Weijie J. Su
• Abstract要約: sorted l1 regularizationは高次元統計的推定問題の解法として多くの方法に取り入れられている。 本手法は,FDP(False discovery proportion)と真正比( true positive proportion, TPP)の最適SLOPEトレードオフを特徴付けることにより,変数選択をいかに改善するかを示す。
• 参考スコア（独自算出の注目度）: 29.344264789740894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sorted l1 regularization has been incorporated into many methods for solving high-dimensional statistical estimation problems, including the SLOPE estimator in linear regression. In this paper, we study how this relatively new regularization technique improves variable selection by characterizing the optimal SLOPE trade-off between the false discovery proportion (FDP) and true positive proportion (TPP) or, equivalently, between measures of type I error and power. Assuming a regime of linear sparsity and working under Gaussian random designs, we obtain an upper bound on the optimal trade-off for SLOPE, showing its capability of breaking the Donoho-Tanner power limit. To put it into perspective, this limit is the highest possible power that the Lasso, which is perhaps the most popular l1-based method, can achieve even with arbitrarily strong effect sizes. Next, we derive a tight lower bound that delineates the fundamental limit of sorted l1 regularization in optimally trading the FDP off for the TPP. Finally, we show that on any problem instance, SLOPE with a certain regularization sequence outperforms the Lasso, in the sense of having a smaller FDP, larger TPP and smaller l2 estimation risk simultaneously. Our proofs are based on a novel technique that reduces a variational calculus problem to a class of infinite-dimensional convex optimization problems and a very recent result from approximate message passing theory.
• Abstract（参考訳）: 線形回帰におけるSLOPE推定器を含む高次元統計的推定問題を解くための多くの方法に、sorted l1正規化が組み込まれている。 本稿では,この比較的新しい正規化手法が,偽発見率 (fdp) と真正率 (tpp) の最適な傾きトレードオフを特徴付けることで,変数選択をいかに改善するか,あるいは,タイプiの誤差とパワーの尺度を等価に評価する。 線形スパーシティのレジームを仮定し、ガウスのランダムな設計の下で働くことを仮定し、スロープの最適トレードオフを上限とし、ドノホ・タナーのパワー限界を破る能力を示す。 この限界は、おそらく最も人気のあるl1ベースの手法であるlassoが、任意に強い効果サイズでも達成できる最大の力である。 次に、TPP に対して FDP を最適に取引する際に、ソートした l1 正規化の基本極限を規定する厳密な下限を導出する。 最後に、任意の問題に対して、ある正規化シーケンスを持つSLOPEは、より小さいFDP、大きいTPP、小さいl2推定リスクを同時に持つという意味で、Lassoよりも優れていることを示す。 我々の証明は、変動計算問題を無限次元凸最適化問題に還元する新しい手法と、近似メッセージパッシング理論による非常に最近の結果に基づいている。

関連論文リスト

• Horizon-Free Regret for Linear Markov Decision Processes [92.02082223856479]
  最近の一連の研究は、強化学習における残念な境界が(ほぼ)計画的地平から独立していることを示している。 我々は、人気のある線形マルコフ決定過程(MDP)設定に対して、最初の地平面自由境界を与える。 遷移モデルを明示的に推定し、不均一な値関数を計算する先行研究とは対照的に、直接値関数と信頼集合を推定する。
  論文  参考訳（メタデータ） (2024-03-15T23:50:58Z)
• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
  最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。 最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。 また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
  論文  参考訳（メタデータ） (2023-06-14T11:02:08Z)
• Faster Projection-Free Augmented Lagrangian Methods via Weak Proximal Oracle [16.290192687098383]
  本稿では,アフィン制約を伴う凸複合最適化問題について考察する。 正確なプロジェクション/近距離計算が難解な高次元アプリケーションにより,テキスト投影のないラグランジアン型拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-10-25T12:51:43Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• A Dimensionality Reduction Method for Finding Least Favorable Priors with a Focus on Bregman Divergence [108.28566246421742]
  そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。 この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
  論文  参考訳（メタデータ） (2022-02-23T16:22:28Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• A Stochastic Composite Augmented Lagrangian Method For Reinforcement Learning [9.204659134755795]
  深層強化学習のための線形プログラミング(LP)の定式化について検討する。 拡張ラグランジアン法は、LPの解法において二重サンプリング障害に悩まされる。 深層パラメタライズされたラグランジアン法を提案する。
  論文  参考訳（メタデータ） (2021-05-20T13:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。