論文の概要: Sharp concentration of uniform generalization errors in binary linear classification

• arxiv url: http://arxiv.org/abs/2505.16713v1
• Date: Thu, 22 May 2025 14:14:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.353169
• Title: Sharp concentration of uniform generalization errors in binary linear classification
• Title（参考訳）: 二元線形分類における一様一般化誤差のシャープ濃度
• Authors: Shogo Nakakita,
• Abstract要約: 均一な一般化誤差と期待値との収束は、非常に広い設定で起こることが示されている。 この収束を用いて、次元自由条件下での大数の一様法則を確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We examine the concentration of uniform generalization errors around their expectation in binary linear classification problems via an isoperimetric argument. In particular, we establish Poincar\'{e} and log-Sobolev inequalities for the joint distribution of the output labels and the label-weighted input vectors, which we apply to derive concentration bounds. The derived concentration bounds are sharp up to moderate multiplicative constants by those under well-balanced labels. In asymptotic analysis, we also show that almost sure convergence of uniform generalization errors to their expectation occurs in very broad settings, such as proportionally high-dimensional regimes. Using this convergence, we establish uniform laws of large numbers under dimension-free conditions.
• Abstract（参考訳）: 等尺的議論を通した二元線形分類問題における期待値に関する一様一般化誤差の集中について検討する。 特に、出力ラベルとラベル重み付き入力ベクトルの結合分布に対するPoincar\'{e} と log-Sobolev の不等式を確立し、導出濃度境界に適用する。 導出した濃度境界は、バランスの取れたラベルの下では、適度な乗法定数まで鋭い。 漸近解析では、一様一般化誤差の予想への収束が、比例的に高次元のレジームのような非常に広い設定で起こることも示している。 この収束を用いて、次元自由条件下での大数の一様法則を確立する。

関連論文リスト

• Concentration inequalities for high-dimensional linear processes with dependent innovations [0.0]
  Weibull を置換したベクトル線型過程の $l_infty$ ノルムに対する濃度不等式を開発する。 これらの不等式を、大次元VAR(p)システムのスパース推定とヘテロレダスティック性および自己相関整合性(HAC)高次元共分散推定に適用する。
  論文  参考訳（メタデータ） (2023-07-23T18:05:53Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Concentration Inequalities for Statistical Inference [3.10770247120758]
  本稿では, 数学統計学の非漸近解析に広く用いられている濃度不等式について概説する。 我々は、既知の定数で濃度不等式を説明し、より鋭い定数で既存の境界を改善することを目的としている。
  論文  参考訳（メタデータ） (2020-11-04T12:54:06Z)
• The role of regularization in classification of high-dimensional noisy Gaussian mixture [36.279288150100875]
  雑音状態における2つのガウスの高次元混合を考える。 正規化凸分類器の一般化誤差を厳密に解析する。 ベイズ最適性能に到達できるような正規化の驚くべき効果について論じる。
  論文  参考訳（メタデータ） (2020-02-26T14:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。