論文の概要: For self-supervised learning, Rationality implies generalization,
provably
- arxiv url: http://arxiv.org/abs/2010.08508v1
- Date: Fri, 16 Oct 2020 17:07:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 19:55:11.521011
- Title: For self-supervised learning, Rationality implies generalization,
provably
- Title（参考訳）: 自己指導型学習では、Rationalityは一般化を暗示する
- Authors: Yamini Bansal, Gal Kaplun, Boaz Barak
- Abstract要約: 自己超越法を用いて得られた分類器の一般化ギャップに新たな上限を証明した。
我々は,CIFAR-10 や ImageNet 上の多くの一般的な表現学習ベース分類器に対して,我々の境界は空白ではないことを示す。
- 参考スコア（独自算出の注目度）: 13.526562756159809
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We prove a new upper bound on the generalization gap of classifiers that are
obtained by first using self-supervision to learn a representation $r$ of the
training data, and then fitting a simple (e.g., linear) classifier $g$ to the
labels. Specifically, we show that (under the assumptions described below) the
generalization gap of such classifiers tends to zero if $\mathsf{C}(g) \ll n$,
where $\mathsf{C}(g)$ is an appropriately-defined measure of the simple
classifier $g$'s complexity, and $n$ is the number of training samples. We
stress that our bound is independent of the complexity of the representation
$r$. We do not make any structural or conditional-independence assumptions on
the representation-learning task, which can use the same training dataset that
is later used for classification. Rather, we assume that the training procedure
satisfies certain natural noise-robustness (adding small amount of label noise
causes small degradation in performance) and rationality (getting the wrong
label is not better than getting no label at all) conditions that widely hold
across many standard architectures. We show that our bound is non-vacuous for
many popular representation-learning based classifiers on CIFAR-10 and
ImageNet, including SimCLR, AMDIM and MoCo.
- Abstract（参考訳）: まず自己スーパービジョンを用いてトレーニングデータの表現$r$を学習し、次に単純な(線形な)分類器$g$をラベルに適合させることによって得られる分類器の一般化ギャップに新たな上限を証明した。
具体的には、(後述の仮定の下で)そのような分類器の一般化ギャップが 0 となる傾向が示される:$\mathsf{C}(g) \ll n$, ここで、$\mathsf{C}(g)$ は単純な分類器の複雑さの適切に定義された測度であり、$n$ は訓練サンプルの数である。
我々は、我々の境界は表現$r$の複雑さとは無関係であることを強調する。
我々は、後に分類に使用されるのと同じトレーニングデータセットを使用できる表現学習タスクに対して、構造的あるいは条件的独立性を仮定することはない。
むしろ、トレーニング手順は、特定の自然なノイズロバスト性(少量のラベルノイズを加えると、パフォーマンスが低下する)と合理性(間違ったラベルを付けることは、ラベルを全く受け取らないよりはまし)を満たすと仮定し、多くの標準アーキテクチャにわたって広く保持される条件を仮定する。
我々は,CIFAR-10 や ImageNet 上の多くの一般的な表現学習ベース分類器(SimCLR,AMDIM,MoCo など)に対して,我々の境界は空白ではないことを示す。
関連論文リスト
- Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。
我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。
そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
論文 参考訳（メタデータ） (2024-08-06T03:42:38Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - One-Bit Quantization and Sparsification for Multiclass Linear Classification with Strong Regularization [18.427215139020625]
最高の分類は、$f(cdot) = |cdot|2$ と $lambda to infty$ によって達成されることを示す。
f(cdot) = |cdot|_infty$ とほぼ同等に機能するスパースと1ビットの解を見つけることは、大きめの $lambda$ regime においてしばしば可能である。
論文 参考訳（メタデータ） (2024-02-16T06:39:40Z) - A Novel Approach to Regularising 1NN classifier for Improved
Generalization [3.9919322607068293]
流域分類器は、十分な密度のデータセット上で任意の境界を見つけることができ、同時に非常に小さなVC次元を持つことを示す。
本研究では,流域分類器に整合した表現を学習可能な損失関数を提案し,NAAベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-13T12:09:15Z) - Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。
iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。
我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-08-08T17:56:20Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳（メタデータ） (2023-05-31T03:01:36Z) - On the Provable Advantage of Unsupervised Pretraining [26.065736182939222]
教師なし事前学習は、現代の大規模機械学習システムにおいて重要な要素である。
本稿では、教師なし表現学習タスクを潜在変数モデルの抽象クラスで指定する汎用フレームワークについて検討する。
軽度の'informative'条件下では、下流タスクに対して$tildemathcalO(sqrtmathcalC_Phi/m + sqrtmathcalC_Psi/n)$の過剰なリスクを達成する。
論文 参考訳（メタデータ） (2023-03-02T20:42:05Z) - Class Prototype-based Cleaner for Label Noise Learning [73.007001454085]
半教師付き学習法は、雑音ラベル学習問題に対する現在のSOTAソリューションである。
textbfClass textbfPrototype-based label textbfCleaner。
論文 参考訳（メタデータ） (2022-12-21T04:56:41Z) - Blessing of Class Diversity in Pre-training [54.335530406959435]
事前学習タスクのクラスが十分に多種多様である場合、事前学習は下流タスクのサンプル効率を大幅に向上させることができることを示す。
我々の証明は、合成関数クラスに対するベクトル形式ラデマッハ複雑性連鎖則と修正自己調和条件に依存している。
論文 参考訳（メタデータ） (2022-09-07T20:10:12Z) - Counterfactual Zero-Shot and Open-Set Visual Recognition [95.43275761833804]
Zero-Shot Learning (ZSL) と Open-Set Recognition (OSR) の両方に対する新しい反実用フレームワークを提案する。
我々の考えは、目に見えないクラスのための生成されたサンプルは、しばしば真の分布から外れているという観察に由来する。
当社のフレームワークが見掛け/見当たらない不均衡を効果的に緩和し,全体的なパフォーマンスを大幅に向上させることを示す。
論文 参考訳（メタデータ） (2021-03-01T10:20:04Z) - Classification with Strategically Withheld Data [41.78264347024645]
機械学習のテクニックは、クレジット承認や大学入学などのアプリケーションで有用である。
このような文脈でより好意的に分類するために、エージェントは、悪いテストスコアなどのいくつかの特徴を戦略的に控えることを決定できる。
sc Mincut, sc Hill-Climbing (sc HC) と Incentive-Logistic Regression (sc-LR) の3つの分類法を設計する。
論文 参考訳（メタデータ） (2020-12-18T12:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。