論文の概要: Stability beyond Bounded Differences: Sharp Generalization Bounds under Finite $L_p$ Moments
- arxiv url: http://arxiv.org/abs/2606.06855v1
- Date: Fri, 05 Jun 2026 02:59:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-08 14:33:29.535529
- Title: Stability beyond Bounded Differences: Sharp Generalization Bounds under Finite $L_p$ Moments
- Title(参考訳): 境界差を超えた安定性:有限$L_p$モーメントの下でのシャープ一般化境界
- Authors: Qianqian Lei, Soham Bonnerjee, Yuefeng Han, Wei Biao Wu,
- Abstract要約: 有限の$L_p$モーメント条件しか必要としない安定性ベースのフレームワークを開発する。
我々は、様々な学習パラダイムにまたがる急激な高確率一般化を導出する。
- 参考スコア(独自算出の注目度): 3.5932002706017556
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While algorithmic stability is a central tool for understanding generalization of learning algorithms, existing high-probability guarantees typically rely on uniform boundedness or sub-Gaussian/sub-Weibull tail assumptions, which can be overly restrictive for modern settings with heavy-tailed or unbounded losses. We develop a stability-based framework that requires only a finite $L_p$ moment condition. Our first contribution is sharp concentration inequalities for functions of independent random variables under $L_p$ constraints, extending McDiarmid's bounded-differences techniques beyond the classical regime. Leveraging these results, we derive sharp high-probability generalization bounds across a range of learning paradigms, including empirical risk minimization, transductive regression, and meta-learning. These guarantees show that $L_p$ stability suffices for robust generalization even when boundedness fails, substantially weakening the standard assumptions in the stability literature.
- Abstract(参考訳): アルゴリズムの安定性は学習アルゴリズムの一般化を理解するための中心的なツールであるが、既存の高確率保証は一般に一様有界性や準ガウス/準ワイブルの尾の仮定に依存しており、これは重尾の損失や非有界な損失を伴う現代の状況では過度に制限される。
有限の$L_p$モーメント条件しか必要としない安定性ベースのフレームワークを開発する。
最初の貢献は、$L_p$制約の下での独立確率変数の関数に対する鋭い集中不等式であり、マクダイアーミドの有界差分法を古典的体制を超えて拡張する。
これらの結果を活用することで、経験的リスク最小化、トランスダクティブ回帰、メタラーニングなど、さまざまな学習パラダイムにまたがる急激な高確率一般化が導出される。
これらの保証は、$L_p$の安定性は、有界性に失敗したとしても堅牢な一般化のために十分であり、安定性の文献における標準仮定を著しく弱めていることを示している。
関連論文リスト
- The Price of Robustness: Stable Classifiers Need Overparameterization [17.335490896384265]
クラス安定性で逆改善する有限関数クラスに対して有界な一般化を確立する。
我々は、ブベックとセルケの結果を拡張する分類の堅牢性の法則として導かれる。
実験は我々の理論を支持するが、伝統的なノルムに基づく測度はほとんど非形式的である。
論文 参考訳(メタデータ) (2026-03-03T09:47:06Z) - Near-Constant Strong Violation and Last-Iterate Convergence for Online CMDPs via Decaying Safety Margins [31.581870065866568]
制約付きマルコフ決定過程(CMDP)における安全なオンライン強化学習を,強い後悔と違反の指標の下で研究する。
サブリニアの強い報酬を後悔させる既存の原始二重法は、強い制約違反の増大を招いたり、あるいは固有振動による平均点収束に制限されたりしている。
本稿では,マルチ正規化探索(FlexDOME)アルゴリズムによるフレキシブルセーフティドメイン最適化を提案する。
論文 参考訳(メタデータ) (2026-02-11T14:54:26Z) - A Robustness Analysis of Blind Source Separation [91.3755431537592]
ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。
このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。
定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
論文 参考訳(メタデータ) (2023-03-17T16:30:51Z) - Stability and Generalization for Markov Chain Stochastic Gradient
Methods [49.981789906200035]
本稿では,最小化問題と最小化問題の両方に対して,MC-SGMの包括的一般化解析を行う。
我々はスムーズかつ非スムーズなケースに対して最適な過剰人口リスク境界を確立する。
コンベックス・コンケーブ問題に対する最初期のほぼ最適な収束率を期待と高い確率で開発する。
論文 参考訳(メタデータ) (2022-09-16T15:42:51Z) - Boosting the Confidence of Generalization for $L_2$-Stable Randomized
Learning Algorithms [41.082982732100696]
適切に設計されたサブバッグプロセスは、データとアルゴリズムの両方にほぼ28の指数関数的一般化バウンダリをもたらすことを示す。
さらに、自然減衰学習率を持つ凸問題や非重み付き問題に対する高確率一般化境界を改善するために、総合的な結果を導出する。
論文 参考訳(メタデータ) (2022-06-08T12:14:01Z) - A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。
PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文 参考訳(メタデータ) (2021-07-23T19:38:17Z) - Toward Better Generalization Bounds with Locally Elastic Stability [41.7030651617752]
局所的な弾性安定性は、一様安定性に基づいて導出されたものよりも厳密な一般化境界を意味すると論じる。
我々は、有界支持ベクトルマシン、正規化最小二乗回帰、勾配降下の例を再考する。
論文 参考訳(メタデータ) (2020-10-27T02:04:53Z) - On Lower Bounds for Standard and Robust Gaussian Process Bandit
Optimization [55.937424268654645]
有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。
本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
論文 参考訳(メタデータ) (2020-08-20T03:48:14Z) - Fine-Grained Analysis of Stability and Generalization for Stochastic
Gradient Descent [55.85456985750134]
我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。
これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。
我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
論文 参考訳(メタデータ) (2020-06-15T06:30:19Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳(メタデータ) (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。