Fugu-MT 論文翻訳(概要): Error Bounds for Generalized Group Sparsity

論文の概要: Error Bounds for Generalized Group Sparsity

arxiv url: http://arxiv.org/abs/2008.04734v1
Date: Sat, 8 Aug 2020 03:52:05 GMT
ステータス: 処理完了
システム内更新日: 2022-11-01 11:48:04.653336
Title: Error Bounds for Generalized Group Sparsity
Title（参考訳）: 一般化群空間の誤差境界
Authors: Xinyu Zhang
Abstract要約: 二重空間正規化の異なる形式に対する一貫性と収束率の結果が得られることが証明された1つの普遍定理を述べる。解析により,2重空間正規化のための双対定式化を提供する,$epsilon$-normの一般化ノルムが同定される。
参考スコア（独自算出の注目度）: 8.557485533942337
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In high-dimensional statistical inference, sparsity regularizations have shown advantages in consistency and convergence rates for coefficient estimation. We consider a generalized version of Sparse-Group Lasso which captures both element-wise sparsity and group-wise sparsity simultaneously. We state one universal theorem which is proved to obtain results on consistency and convergence rates for different forms of double sparsity regularization. The universality of the results lies in an generalization of various convergence rates for single regularization cases such as LASSO and group LASSO and also double regularization cases such as sparse-group LASSO. Our analysis identifies a generalized norm of $\epsilon$-norm, which provides a dual formulation for our double sparsity regularization.
Abstract（参考訳）: 高次元統計的推測では、空間正規化は係数推定の一貫性と収束率の利点を示している。本稿では,Sparse-Group Lassoの一般化バージョンについて考察する。二重空間正規化の異なる形式に対する一貫性と収束率の結果が得られることが証明された1つの普遍定理を述べる。結果の普遍性は、LASSO や群 LASSO のような単一正則化の場合やスパース群 LASSO のような二重正則化の場合の様々な収束率の一般化にある。本解析では,二元スパルシティ正規化の双対定式化を提供する,$\epsilon$-norm の一般化ノルムを同定する。

関連論文リスト

Theoretical Limitations of Ensembles in the Age of Overparameterization [28.965084623872464]
最近の実証研究により、現代のニューラルネットワークのアンサンブルは、単一だが大きなニューラルネットワークに対して固有の一般化の利点を与えない可能性がある。パラメータ化されたRF回帰器の無限アンサンブルが(単一の)無限幅RF回帰器と同値であることを証明する。その結果、アンサンブルメンバー間の予測的ばらつきを特徴付けることができ、キャパシティの増大による期待効果を定量化できることを実証できる。
論文参考訳（メタデータ） (2024-10-21T17:03:20Z)
Leveraging PAC-Bayes Theory and Gibbs Distributions for Generalization Bounds with Complexity Measures [14.408127155170774]
我々は、分解されたPAC-Bayes境界の枠組みを活用し、任意の複雑性測度で瞬時化可能な一般一般化を導出する。我々の境界は仮説と学習サンプルを共同で確率に立っており、これは複雑性を一般化ギャップに適応させることができる。
論文参考訳（メタデータ） (2024-02-19T10:15:11Z)
The non-overlapping statistical approximation to overlapping group lasso [4.197110761923662]
重なり合う群ラスソペナルティの近似として分離可能なペナルティを提案する。この分離性により, ペナルティに基づく正規化の計算は, 重なり合う群ラッソの計算よりもかなり高速である。提案した分離性ペナルティに基づく推定値は,重なり合うグループラッソペナルティに基づく推定値と統計的に等価であることを示す。
論文参考訳（メタデータ） (2022-11-16T21:21:41Z)
A PAC-Bayesian Generalization Bound for Equivariant Networks [15.27608414735815]
我々は、同変ネットワークに対するノルムベースのPAC-ベイジアン一般化境界を導出する。境界は、群のサイズ、および一般化誤差に対する可約表現の多重度と次数の影響を特徴づける。一般に、モデルにおけるより大きなグループサイズを用いることで、広範な数値実験によって証明された一般化誤差が向上することを示す。
論文参考訳（メタデータ） (2022-10-24T12:07:03Z)
A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized Linear Models [33.36787620121057]
ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
論文参考訳（メタデータ） (2022-10-21T16:16:55Z)
On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文参考訳（メタデータ） (2022-10-12T12:49:20Z)
A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。ブレグマン最小化の発散の観点から一般的な枠組みを開発する。我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文参考訳（メタデータ） (2021-12-07T01:23:20Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
論文参考訳（メタデータ） (2021-02-07T14:47:00Z)
Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。後微分正則化を$f$-divergencesの族に一般化する。実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
論文参考訳（メタデータ） (2020-10-23T19:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。