論文の概要: Generalized Linear Models with Structured Sparsity Estimators
- arxiv url: http://arxiv.org/abs/2104.14371v1
- Date: Thu, 29 Apr 2021 14:31:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-30 13:06:48.696352
- Title: Generalized Linear Models with Structured Sparsity Estimators
- Title（参考訳）: 構造付き空間推定器を用いた一般化線形モデル
- Authors: Mehmet Caner
- Abstract要約: 一般化線形モデル損失における構造的疎度推定器を導入する。
構成スパーシティ推定手段は、選択されたノルムで使用されるスパーシティ構造を備えたペナルティ損失関数である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we introduce structured sparsity estimators in Generalized
Linear Models. Structured sparsity estimators in the least squares loss are
introduced by Stucky and van de Geer (2018) recently for fixed design and
normal errors. We extend their results to debiased structured sparsity
estimators with Generalized Linear Model based loss. Structured sparsity
estimation means penalized loss functions with a possible sparsity structure
used in the chosen norm. These include weighted group lasso, lasso and norms
generated from convex cones. The significant difficulty is that it is not clear
how to prove two oracle inequalities. The first one is for the initial
penalized Generalized Linear Model estimator. Since it is not clear how a
particular feasible-weighted nodewise regression may fit in an oracle
inequality for penalized Generalized Linear Model, we need a second oracle
inequality to get oracle bounds for the approximate inverse for the sample
estimate of second-order partial derivative of Generalized Linear Model.
Our contributions are fivefold: 1. We generalize the existing oracle
inequality results in penalized Generalized Linear Models by proving the
underlying conditions rather than assuming them. One of the key issues is the
proof of a sample one-point margin condition and its use in an oracle
inequality. 2. Our results cover even non sub-Gaussian errors and regressors.
3. We provide a feasible weighted nodewise regression proof which generalizes
the results in the literature from a simple l_1 norm usage to norms generated
from convex cones. 4. We realize that norms used in feasible nodewise
regression proofs should be weaker or equal to the norms in penalized
Generalized Linear Model loss. 5. We can debias the first step estimator via
getting an approximate inverse of the singular-sample second order partial
derivative of Generalized Linear Model loss.
- Abstract（参考訳）: 本稿では,一般化線形モデルにおける構造的疎度推定器を提案する。
最小二乗損失における構造的スパーシティ推定器は、固定設計と正規誤差のために、最近、 stucky と van de geer (2018) によって導入された。
一般化線形モデルに基づく損失を用いた縮退型構造空間推定器にその結果を拡張する。
構成スパーシティ推定手段は、選択されたノルムで使用されるスパーシティ構造を備えたペナルティ損失関数である。
これには、重み付けされたグループラッソ、ラッソ、凸錐体から生成されるノルムが含まれる。
重大な困難は、2つのオラクルの不等式を証明する方法が明確でないことである。
1つ目は、初期ペナル化一般化線形モデル推定器である。
一般化線形モデルに対して、特定の実現可能重み付きノードワイド回帰がオラクル不等式にどのように適合するかは明らかではないので、一般化線形モデルの2階偏微分の標本推定のために、近似逆のオラクル境界を得るための2次オラクル不等式が必要である。
コントリビューションは5倍です。
我々は、既存のオラクルの不等式結果をペナルティ化された一般化線形モデルに一般化し、それらの前提条件を仮定するのではなく証明する。
重要な問題の1つは、サンプルの1点マージン条件とそのオラクルの不等式での使用の証明である。
2.
結果は,非ガウジアン誤りやレグレッシャもカバーする。
3.
簡単なl_1ノルム使用から凸錐から生成されるノルムへの文献結果の一般化が可能な重み付きノードワイズ回帰証明を提供する。
4.
実効性ノードワイド回帰証明で用いられるノルムは、ペナル化一般化線形モデル損失のノルムとより弱いか等しいと認識する。
5.
一般化線形モデル損失の特異サンプル2次偏微分の近似逆数を得ることにより、第1ステップ推定器をデバイアスすることができる。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - The Implicit Bias of Batch Normalization in Linear Models and Two-layer
Linear Convolutional Neural Networks [117.93273337740442]
勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。
また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
論文 参考訳（メタデータ） (2023-06-20T16:58:00Z) - Semi-parametric inference based on adaptively collected data [34.56133468275712]
データ収集における適応性を考慮した重み付き推定式を構築した。
本研究の結果は,正常性の保持に必要な「探索可能性」の度合いを特徴づけるものである。
我々は、標準線形帯域やスパース一般化帯域を含む様々な問題に対する具体的結果を用いて、我々の一般理論を説明する。
論文 参考訳（メタデータ） (2023-03-05T00:45:32Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized
Linear Models [33.36787620121057]
ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。
私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。
ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
論文 参考訳（メタデータ） (2022-10-21T16:16:55Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。
解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
論文 参考訳（メタデータ） (2021-02-07T14:47:00Z) - Sample-efficient L0-L2 constrained structure learning of sparse Ising
models [3.056751497358646]
スパースイジングモデルの基盤となるグラフを$n$ i.i.d.サンプルから$p$ノードで学習する問題を考察する。
濃度制約 L0 ノルムを有効に利用し、このノルムを L2 ノルムと組み合わせて非零係数をモデル化する。
論文 参考訳（メタデータ） (2020-12-03T07:52:20Z) - When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。
本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
論文 参考訳（メタデータ） (2020-06-18T17:57:26Z) - Generalization error in high-dimensional perceptrons: Approaching Bayes
error with convex optimization [37.57922952189396]
高次元状態における標準分類器の一般化性能について検討する。
ベイズ最適一般化誤差を確実に導く最適損失と正則化器を設計する。
論文 参考訳（メタデータ） (2020-06-11T16:14:51Z) - Imputation for High-Dimensional Linear Regression [8.841513006680886]
LASSOは乱数設定において最小推定率を保持することを示す。
この設定では、共同根源は未成年のままである。
論文 参考訳（メタデータ） (2020-01-24T19:54:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。