論文の概要: Pattern Recovery in Penalized and Thresholded Estimation and its Geometry

• arxiv url: http://arxiv.org/abs/2307.10158v1
• Date: Wed, 19 Jul 2023 17:39:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 13:09:41.144229
• Title: Pattern Recovery in Penalized and Thresholded Estimation and its Geometry
• Title（参考訳）: ペナルティ化およびしきい値化推定におけるパターン回復とその形状
• Authors: Piotr Graczyk, Ulrike Schneider, Tomasz Skalski, Patrick Tardivel
• Abstract要約: 実数値多面体ゲージによるペナルティ項の与えられるペナルティ推定の枠組みを考察する。 我々は,部分微分に基づくパターンの一般概念を定義し,その複雑性を測るアプローチを定式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the framework of penalized estimation where the penalty term is given by a real-valued polyhedral gauge, which encompasses methods such as LASSO (and many variants thereof such as the generalized LASSO), SLOPE, OSCAR, PACS and others. Each of these estimators can uncover a different structure or ``pattern'' of the unknown parameter vector. We define a general notion of patterns based on subdifferentials and formalize an approach to measure their complexity. For pattern recovery, we provide a minimal condition for a particular pattern to be detected by the procedure with positive probability, the so-called accessibility condition. Using our approach, we also introduce the stronger noiseless recovery condition. For the LASSO, it is well known that the irrepresentability condition is necessary for pattern recovery with probability larger than $1/2$ and we show that the noiseless recovery plays exactly the same role, thereby extending and unifying the irrepresentability condition of the LASSO to a broad class of penalized estimators. We show that the noiseless recovery condition can be relaxed when turning to thresholded penalized estimators, extending the idea of the thresholded LASSO: we prove that the accessibility condition is already sufficient (and necessary) for sure pattern recovery by thresholded penalized estimation provided that the signal of the pattern is large enough. Throughout the article, we demonstrate how our findings can be interpreted through a geometrical lens.
• Abstract（参考訳）: ペナルティ項が実数値多面体ゲージによって与えられるペナルティ化推定の枠組みについて考察し,lasso(および一般化lassoなどの多くの変種を含む),slide,osos,pacsなどの手法について考察する。 これらの推定子は、未知のパラメータベクトルの異なる構造や 'パターン' を明らかにすることができる。 我々は,部分微分に基づくパターンの一般概念を定義し,その複雑性を測るアプローチを定式化する。 パターン回復のためには,正の確率で検出すべき特定のパターン,いわゆるアクセシビリティ条件を最小限に設定する。 また,本手法を用いて,より強いノイズレス回復条件を導入する。 LASSOの場合,1/2$以上の確率でパターン復元を行うためには非表現性条件が必要であることがよく知られており,ノイズのない回復が全く同じ役割を果たすことを示し,それによってLASSOの不表現性条件を広範囲のペナル化推定器に拡張・統一する。 我々は、閾値付きペナル化推定器に切り替えると、ノイズレス回復条件が緩和され、しきい値付きLASSOの概念が拡張されることを示し、そのパターンの信号が十分に大きいことを条件として、閾値付きペナル化推定によるパターン回復が確実であることを示す。 論文全体を通して、我々の発見が幾何学的レンズを通してどのように解釈できるかを実証する。

関連論文リスト

• Rethinking State Disentanglement in Causal Reinforcement Learning [78.12976579620165]
  因果性は、根底にある状態が識別可能性によって一意に回復できることを保証するための厳密な理論的支援を提供する。 我々はこの研究ラインを再考し、RL固有のコンテキストを取り入れることで、潜在状態に対する以前の識別可能性分析における不要な仮定を低減できることを示した。 本稿では, 従来手法の複雑な構造制約を, 遷移と報酬保存の2つの簡単な制約に置き換えることにより, 一般に部分的に観測可能なマルコフ決定過程(POMDP)を提案する。
  論文  参考訳（メタデータ） (2024-08-24T06:49:13Z)
• Evaluating Model Performance Under Worst-case Subpopulations [8.615300901890253]
  コア属性Zに対して定義された任意のサイズの全てのサブポピュレーションに対するモデルの最悪のケース性能について検討する。 我々は、最先端モデルのロバスト性を評価できるスケーラブルだが原則化された2段階推定手法を開発した。
  論文  参考訳（メタデータ） (2024-07-01T14:24:05Z)
• Hypothesis Testing for Class-Conditional Noise Using Local Maximum Likelihood [1.8798171797988192]
  教師付き学習では、学習が行われる前にラベルの質を自動的に評価することがオープンな研究課題である。 本稿では,本モデルが局所極大近似推定の積である場合,同様の手順を踏襲できることを示す。 この異なるビューは、よりリッチなモデルクラスへのアクセスを提供することで、テストのより広範な適用を可能にする。
  論文  参考訳（メタデータ） (2023-12-15T22:14:58Z)
• Conformal Prediction with Missing Values [19.18178194789968]
  まず,共形予測の限界カバレッジ保証が,不一致分布のインプットデータに当てはまることを示す。 次に、インプットされたデータに基づいてトレーニングされた普遍的に一貫した量子レグレッションアルゴリズムが、ピンボールリスクに対してベイズ最適であることを示す。
  論文  参考訳（メタデータ） (2023-06-05T09:28:03Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Exact Recovery in the General Hypergraph Stochastic Block Model [92.28929858529679]
  本稿では,d-uniform hypergraph block model(d-HSBM)の正確な回復の基本的な限界について検討する。 精度の高いしきい値が存在し、正確な回復がしきい値の上に達成でき、その下には不可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-11T03:39:08Z)
• Temporal-Structure-Assisted Gradient Aggregation for Over-the-Air Federated Edge Learning [24.248673415586413]
  本稿では,モデル集約系列の固有時間構造を特徴付けるマルコフ確率モデルを提案する。 本研究では,時間構造支援勾配集約(TSA-GA)と呼ばれるメッセージパッシングアルゴリズムを開発し,この推定課題を満たす。 提案するtsagaアルゴリズムは最先端技術を大幅に上回り,同等の学習性能を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-03-03T09:13:27Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)
• Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning [70.01650994156797]
  教育医療などのバッチ強化学習において、観察データからのシーケンシャルな意思決定方針のオフ・アセスメントが必要である。 我々は、ある政策の境界を推定するアプローチを開発する。 より凝縮したデータを集めることで、シャープな境界への収束を証明します。
  論文  参考訳（メタデータ） (2020-02-11T16:18:14Z)
• Imputation for High-Dimensional Linear Regression [8.841513006680886]
  LASSOは乱数設定において最小推定率を保持することを示す。 この設定では、共同根源は未成年のままである。
  論文  参考訳（メタデータ） (2020-01-24T19:54:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。