論文の概要: Instance-dependent uniform tail bounds for empirical processes

• arxiv url: http://arxiv.org/abs/2209.10053v6
• Date: Sun, 29 Sep 2024 21:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 21:59:04.108109
• Title: Instance-dependent uniform tail bounds for empirical processes
• Title（参考訳）: 経験過程に対するインスタンス依存的一様尾辺
• Authors: Sohail Bahmani,
• Abstract要約: 関数のクラスによってインデックス付けされた経験過程に対して一様尾を定式化する。 テールバウンド(tail bound)は、タラグランドの$gamma$関数の一般化という観点からのデフレーション函数クラス''の複雑さの和である。 また、より一般的なオルリッツノルムや、適切なモーメント条件下でのそれらの不完全バージョンの観点から、テール境界の近似も提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We formulate a uniform tail bound for empirical processes indexed by a class of functions, in terms of the individual deviations of the functions rather than the worst-case deviation in the considered class. The tail bound is established by introducing an initial ``deflation'' step to the standard generic chaining argument. The resulting tail bound is the sum of the complexity of the ``deflated function class'' in terms of a generalization of Talagrand's $\gamma$ functional, and the deviation of the function instance, both of which are formulated based on the natural seminorm induced by the corresponding Cram\'{e}r functions. Leveraging another less demanding natural seminorm, we also show similar bounds, though with implicit dependence on the sample size, in the more general case where finite exponential moments cannot be assumed. We also provide approximations of the tail bounds in terms of the more prevalent Orlicz norms or their ``incomplete'' versions under suitable moment conditions.
• Abstract（参考訳）: 検討されたクラスにおける最悪のケース偏差ではなく、関数の個々の偏差の観点から、関数のクラスによってインデックス付けされた経験的過程の均一なテールを定式化する。 テールバウンダリは、標準的なジェネリックチェイン引数に最初の `deflation'' ステップを導入することで確立される。 結果として生じる尾境界は、タラグランドの$\gamma$汎函数の一般化と、対応する Cram\'{e}r 関数によって誘導される自然な半ノルムに基づいて定式化される函数のインスタンスの偏差という観点からの 'Deflated function class''' の複雑さの和である。 より一般的な場合、有限指数モーメントを仮定できない場合には、サンプルサイズに暗黙的に依存するが、別の要求の少ない自然半ノルムを利用することで、同様の境界を示す。 また、より一般的なOrliczノルムや、適切なモーメント条件下での ``incomplete'' バージョンの観点から、テール境界の近似も提供する。

関連論文リスト

• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Local versions of sum-of-norms clustering [77.34726150561087]
  本手法はボールモデルにおいて任意に閉じた球を分離できることを示す。 我々は、不連結連結集合のクラスタリングで発生する誤差に定量的な有界性を証明した。
  論文  参考訳（メタデータ） (2021-09-20T14:45:29Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Tighter expected generalization error bounds via Wasserstein distance [23.52237892358981]
  ワッサーシュタイン距離に基づくいくつかの予測一般化誤差境界を導入する。 標準設定とランダム化サブサンプル設定の両方に、フルデータセット、シングルレター、ランダムサブセット境界を示す。 異なる情報測度に基づく新しい境界が提示された境界からどのように導出されるかを示す。
  論文  参考訳（メタデータ） (2021-01-22T20:13:59Z)
• Failures of model-dependent generalization bounds for least-norm interpolation [39.97534972432276]
  最小ノルム線形回帰器の一般化性能に関するバウンダリを考察する。 訓練例における様々な自然な関節分布に対して、任意の有効な一般化境界は非常に緩くなければならない。
  論文  参考訳（メタデータ） (2020-10-16T16:30:05Z)
• Random extrapolation for primal-dual coordinate descent [61.55967255151027]
  本稿では,データ行列の疎度と目的関数の好適な構造に適応する,ランダムに外挿した原始-双対座標降下法を提案する。 一般凸凹の場合, 主対差と目的値に対するシーケンスのほぼ確実に収束と最適サブ線形収束率を示す。
  論文  参考訳（メタデータ） (2020-07-13T17:39:35Z)
• Asymptotics of Ridge (less) Regression under General Source Condition [26.618200633139256]
  我々は,真の回帰パラメータの構造が果たす役割を考察する。 有界信号-雑音比(SNR)においても(正規化なし)が最適であることを示す。 これは、リッジ回帰を考慮した以前の研究と対照的であり、この場合、無限 SNR の極限においてのみ最適である。
  論文  参考訳（メタデータ） (2020-06-11T13:00:21Z)
• Generic Error Bounds for the Generalized Lasso with Sub-Exponential Data [4.56877715768796]
  この研究は、部分指数データの仮定の下で一般化されたラッソの非漸近解析を行う。 本稿では,ジェネリックチェインに基づく証明戦略から自然に生じる2つの複雑性パラメータを用いて,推定誤差を制御できることを示す。
  論文  参考訳（メタデータ） (2020-04-11T10:39:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。