Fugu-MT 論文翻訳(概要): Improving Generalization Bounds for VC Classes Using the Hypergeometric Tail Inversion

論文の概要: Improving Generalization Bounds for VC Classes Using the Hypergeometric Tail Inversion

arxiv url: http://arxiv.org/abs/2111.00062v1
Date: Fri, 29 Oct 2021 19:50:34 GMT
ステータス: 処理完了
システム内更新日: 2021-11-05 02:53:59.102952
Title: Improving Generalization Bounds for VC Classes Using the Hypergeometric Tail Inversion
Title（参考訳）: 超幾何学的テールインバージョンを用いたVCクラスの一般化境界の改善
Authors: Jean-Samuel Leboeuf, Fr\'ed\'eric LeBlanc and Mario Marchand
Abstract要約: 本稿では,2つの主要なアイデアを用いて,VCクラスの一般化境界を大幅に改善する。まず、超幾何反転尾は、VCクラスに対する非常に厳密な非一様分布独立リスク上限を得る。第二に、ゴーストサンプルのトリックを最適化して、さらに非無視的な利得を得る。
参考スコア（独自算出の注目度）: 3.157455635899373
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We significantly improve the generalization bounds for VC classes by using two main ideas. First, we consider the hypergeometric tail inversion to obtain a very tight non-uniform distribution-independent risk upper bound for VC classes. Second, we optimize the ghost sample trick to obtain a further non-negligible gain. These improvements are then used to derive a relative deviation bound, a multiclass margin bound, as well as a lower bound. Numerical comparisons show that the new bound is nearly never vacuous, and is tighter than other VC bounds for all reasonable data set sizes.
Abstract（参考訳）: 2つの主要なアイデアを用いて、VCクラスの一般化境界を大幅に改善する。まず,極端に一様でない分布に依存しないVCクラスのリスク上限を得るために,超幾何学的尾インバージョンを考える。第2に、ゴーストサンプルのトリックを最適化し、さらに無視できないゲインを得る。これらの改善は、相対的な偏差境界、マルチクラスマージン境界、および下位バウンダリを導出するために使用される。数値的な比較では、新しい境界はほとんど空でないことが示され、すべての合理的データセットサイズに対して他のVC境界よりも厳密である。

関連論文リスト

Optimal PAC Bounds Without Uniform Convergence [11.125968799758436]
我々は、一様収束論の極限を超えるフレームワークを通して、最適な高確率リスク境界を提供する。我々のフレームワークは、置換不変予測器の残余誤差を高い確率リスク境界に変換する。具体的には, 1-inclusion graph アルゴリズムの特定のアグリゲーションが最適であることを示す。
論文参考訳（メタデータ） (2023-04-18T17:57:31Z)
Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文参考訳（メタデータ） (2022-11-02T16:39:42Z)
A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized Linear Models [33.36787620121057]
ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
論文参考訳（メタデータ） (2022-10-21T16:16:55Z)
Max-Margin Works while Large Margin Fails: Generalization without Uniform Convergence [55.26547500184405]
既存のツールでは、テストの損失がトレーニングの損失に近いことを保証し、候補モデルのクラスを均一に制御するエム統一コンバージェンス(UC)に依存している。 Nagarajan と Kolter は、ある単純な線形および神経ネットワークの設定において、任意の一様収束境界は空であり、UC が失敗する環境での一般化の証明方法に関する疑問を解き放つことを示している。我々は、ある信号対雑音のしきい値を超えると、これらの2つの設定でほぼテスト損失が得られないことを示す新しいタイプのマージン境界を証明した。
論文参考訳（メタデータ） (2022-06-16T02:46:26Z)
On the Eigenvalues of Global Covariance Pooling for Fine-grained Visual Recognition [65.67315418971688]
グローバル共分散プーリング(GCP)の小さな固有値をトラッピングすることで、よりスムーズな勾配が得られることを示す。きめ細かいデータセットでは、小さな固有値の切り抜きは、モデルを収束させるのに失敗する。この観測から着想を得て,小さな固有値の重要性を拡大するネットワーク分岐を提案する。
論文参考訳（メタデータ） (2022-05-26T11:41:36Z)
Minimax Optimal Quantile and Semi-Adversarial Regret via Root-Logarithmic Regularizers [31.102181563065844]
量子的(そしてより一般的には、KL)後悔は、最高の個人専門家と競争する目標を緩和し、敵対的なデータに関して、ほとんどの専門家と競争するだけである。最近では、半対人パラダイム(Bilodeau、Negrea、Roy 2020)は、完全に対人的でも対人的でもないデータを考えることによって、対人的オンライン学習の代替緩和を提供する。我々は、FTRLと別個のルート対数正規化器を併用したFTRLを用いて、両方のパラダイムにおいて最小限の後悔を達成し、どちらも正規Hedgeの変種と解釈できる。
論文参考訳（メタデータ） (2021-10-27T22:38:52Z)
Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses [19.554559253046225]
オンライン凸最適化 (OCO) において、関数のリプシッツ連続性は、サブ線形後悔を得るために一般的に仮定される。本研究では,相対リプシッツ関数と相対凸関数のOCOを考える。以下に示すように、正規化されたリーダーアルゴリズムとオンラインミラー降下の変種について、残念な点を示す。
論文参考訳（メタデータ） (2020-10-22T20:22:19Z)
Self-Weighted Robust LDA for Multiclass Classification with Edge Classes [111.5515086563592]
SWRLDAと呼ばれる,l21ノルムを基準とした新しい自己重み付き頑健なLDAを提案する。提案するSWRLDAは実装が容易で,実際に高速に収束する。
論文参考訳（メタデータ） (2020-09-24T12:32:55Z)
Comparator-adaptive Convex Bandits [77.43350984086119]
我々は,コンパレータのノルムが小さい場合,残差が小さい凸バンディットアルゴリズムを開発した。アイデアを拡張して、リプシッツや滑らかな損失関数で包帯を凸する。
論文参考訳（メタデータ） (2020-07-16T16:33:35Z)
Near-Tight Margin-Based Generalization Bounds for Support Vector Machines [15.447966950703952]
サポートベクトルマシン(SVM)はバイナリ分類の最も基本的なツールである。本稿では、マージンの観点から古典的な一般化境界を再検討し、改善する。我々は、ほぼ一致する下界で束縛された新しい一般化を補完するので、マージンの観点からSVMの一般化性能をほぼ確定する。
論文参考訳（メタデータ） (2020-06-03T11:22:37Z)
On the Dual Formulation of Boosting Algorithms [92.74617630106559]
AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
論文参考訳（メタデータ） (2009-01-23T02:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。