論文の概要: Exponential Tail Local Rademacher Complexity Risk Bounds Without the Bernstein Condition

• arxiv url: http://arxiv.org/abs/2202.11461v1
• Date: Wed, 23 Feb 2022 12:27:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-24 15:01:51.951824
• Title: Exponential Tail Local Rademacher Complexity Risk Bounds Without the Bernstein Condition
• Title（参考訳）: バーンスタイン条件を満たさない指数的局所ラドマチャー複雑度リスク境界
• Authors: Varun Kanade, Patrick Rebeschini, Tomas Vaskevicius
• Abstract要約: ローカルなRademacherツールボックスは、最も成功した汎用ツールボックスの1つである。 ベルンシュタイン理論を最適性能が達成不可能な設定によってのみ達成できる問題に適用すると、指数的なテール過剰リスクが生じる。 本結果は,ツールボックスがカバーしていない不適切な予測方式に適用する。
• 参考スコア（独自算出の注目度）: 30.401770841788718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The local Rademacher complexity framework is one of the most successful general-purpose toolboxes for establishing sharp excess risk bounds for statistical estimators based on the framework of empirical risk minimization. Applying this toolbox typically requires using the Bernstein condition, which often restricts applicability to convex and proper settings. Recent years have witnessed several examples of problems where optimal statistical performance is only achievable via non-convex and improper estimators originating from aggregation theory, including the fundamental problem of model selection. These examples are currently outside of the reach of the classical localization theory. In this work, we build upon the recent approach to localization via offset Rademacher complexities, for which a general high-probability theory has yet to be established. Our main result is an exponential-tail excess risk bound expressed in terms of the offset Rademacher complexity that yields results at least as sharp as those obtainable via the classical theory. However, our bound applies under an estimator-dependent geometric condition (the "offset condition") instead of the estimator-independent (but, in general, distribution-dependent) Bernstein condition on which the classical theory relies. Our results apply to improper prediction regimes not directly covered by the classical theory.
• Abstract（参考訳）: 局所ラデマッハ複雑性フレームワークは、経験的リスク最小化の枠組みに基づく統計的推定器の急激な過剰リスク境界を確立するための最も成功した汎用ツールボックスの1つである。 このツールボックスを適用するには、典型的にはBernstein条件を使用する必要がある。 近年、モデル選択の根本的な問題を含む集約理論から導かれる非凸や不適切な推定器によって、最適な統計性能が達成できるという問題のいくつかを目撃している。 これらの例は現在、古典的ローカライゼーション理論の範囲外である。 本研究では, 一般の高確率理論が確立されていないオフセットラデマッハ錯体による局在化への最近のアプローチを基礎としている。 我々の主な結果は、古典理論によって得られるものよりも少なくとも鋭い結果をもたらすオフセットラデマッハ複雑性の観点から表される指数尾超過リスクである。 しかしながら、この境界は、古典理論が依拠する推定子非依存(一般に分布依存)ベルンシュタイン条件の代わりに、推定子非依存な幾何学的条件(「オフセット条件」)の下で適用される。 この結果は、古典理論を直接カバーしない不適切な予測レジームに適用できる。

関連論文リスト

• Local Risk Bounds for Statistical Aggregation [5.940699390639279]
  我々は、Lung と Barron による指数重み推定器の古典的境界の局所化バージョンと Q-集約推定器の偏差最適境界を証明した。 これらの境界は、固定設計回帰のための Dai, Rigollet と Zhang の結果とランダム設計回帰のための Lecu'e と Rigollet の結果よりも改善されている。
  論文  参考訳（メタデータ） (2023-06-29T17:51:42Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Statistical optimality conditions for compressive ensembles [7.766921168069532]
  本研究では,高次元データの無作為圧縮を訓練した低複雑さ経験的リスク最小化器のアンサンブルの理論解析のための枠組みを提案する。 本稿では, 圧縮性の概念として, 余剰リスクに関する一般分布依存上界を導入する。 次に、ジョンソン-リンデンシュトラウス写像を圧縮スキームとして考慮し、この一般化を分類および回帰タスクに縛り付ける。
  論文  参考訳（メタデータ） (2021-06-02T11:52:31Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Failures of model-dependent generalization bounds for least-norm interpolation [39.97534972432276]
  最小ノルム線形回帰器の一般化性能に関するバウンダリを考察する。 訓練例における様々な自然な関節分布に対して、任意の有効な一般化境界は非常に緩くなければならない。
  論文  参考訳（メタデータ） (2020-10-16T16:30:05Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• When is invariance useful in an Out-of-Distribution Generalization problem ? [19.696505968699206]
  Out-of-Distribution (OOD) の一般化問題は、すべての環境で一般化する予測器を訓練することである。 この分野の一般的なアプローチは、そのような予測器は環境全体にわたって一定であるメカニズムをキャプチャするテクスティ不変な予測器であるべきであるという仮説を用いる。 本稿では,OODの最適性を達成するために,不変予測器に必要な新しい理論条件を提案する。
  論文  参考訳（メタデータ） (2020-08-04T23:57:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。