論文の概要: For self-supervised learning, Rationality implies generalization,
provably
- arxiv url: http://arxiv.org/abs/2010.08508v1
- Date: Fri, 16 Oct 2020 17:07:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 19:55:11.521011
- Title: For self-supervised learning, Rationality implies generalization,
provably
- Title(参考訳): 自己指導型学習では、Rationalityは一般化を暗示する
- Authors: Yamini Bansal, Gal Kaplun, Boaz Barak
- Abstract要約: 自己超越法を用いて得られた分類器の一般化ギャップに新たな上限を証明した。
我々は,CIFAR-10 や ImageNet 上の多くの一般的な表現学習ベース分類器に対して,我々の境界は空白ではないことを示す。
- 参考スコア(独自算出の注目度): 13.526562756159809
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We prove a new upper bound on the generalization gap of classifiers that are
obtained by first using self-supervision to learn a representation $r$ of the
training data, and then fitting a simple (e.g., linear) classifier $g$ to the
labels. Specifically, we show that (under the assumptions described below) the
generalization gap of such classifiers tends to zero if $\mathsf{C}(g) \ll n$,
where $\mathsf{C}(g)$ is an appropriately-defined measure of the simple
classifier $g$'s complexity, and $n$ is the number of training samples. We
stress that our bound is independent of the complexity of the representation
$r$. We do not make any structural or conditional-independence assumptions on
the representation-learning task, which can use the same training dataset that
is later used for classification. Rather, we assume that the training procedure
satisfies certain natural noise-robustness (adding small amount of label noise
causes small degradation in performance) and rationality (getting the wrong
label is not better than getting no label at all) conditions that widely hold
across many standard architectures. We show that our bound is non-vacuous for
many popular representation-learning based classifiers on CIFAR-10 and
ImageNet, including SimCLR, AMDIM and MoCo.
- Abstract(参考訳): まず自己スーパービジョンを用いてトレーニングデータの表現$r$を学習し、次に単純な(線形な)分類器$g$をラベルに適合させることによって得られる分類器の一般化ギャップに新たな上限を証明した。
具体的には、(後述の仮定の下で)そのような分類器の一般化ギャップが 0 となる傾向が示される:$\mathsf{C}(g) \ll n$, ここで、$\mathsf{C}(g)$ は単純な分類器の複雑さの適切に定義された測度であり、$n$ は訓練サンプルの数である。
我々は、我々の境界は表現$r$の複雑さとは無関係であることを強調する。
我々は、後に分類に使用されるのと同じトレーニングデータセットを使用できる表現学習タスクに対して、構造的あるいは条件的独立性を仮定することはない。
むしろ、トレーニング手順は、特定の自然なノイズロバスト性(少量のラベルノイズを加えると、パフォーマンスが低下する)と合理性(間違ったラベルを付けることは、ラベルを全く受け取らないよりはまし)を満たすと仮定し、多くの標準アーキテクチャにわたって広く保持される条件を仮定する。
我々は,CIFAR-10 や ImageNet 上の多くの一般的な表現学習ベース分類器(SimCLR,AMDIM,MoCo など)に対して,我々の境界は空白ではないことを示す。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - One-Bit Quantization and Sparsification for Multiclass Linear
Classification via Regularized Regression [20.710343135282116]
最高の分類は、$f(cdot) = |cdot|2$ と $lambda to infty$ によって達成されることを示す。
f(cdot) = |cdot|_infty$ とほぼ同等に機能するスパースと1ビットの解を見つけることは、大きめの $lambda$ regime においてしばしば可能である。
論文 参考訳(メタデータ) (2024-02-16T06:39:40Z) - A Novel Approach to Regularising 1NN classifier for Improved
Generalization [3.9919322607068293]
流域分類器は、十分な密度のデータセット上で任意の境界を見つけることができ、同時に非常に小さなVC次元を持つことを示す。
本研究では,流域分類器に整合した表現を学習可能な損失関数を提案し,NAAベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2024-02-13T12:09:15Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳(メタデータ) (2023-05-31T03:01:36Z) - On the Provable Advantage of Unsupervised Pretraining [26.065736182939222]
教師なし事前学習は、現代の大規模機械学習システムにおいて重要な要素である。
本稿では、教師なし表現学習タスクを潜在変数モデルの抽象クラスで指定する汎用フレームワークについて検討する。
軽度の'informative'条件下では、下流タスクに対して$tildemathcalO(sqrtmathcalC_Phi/m + sqrtmathcalC_Psi/n)$の過剰なリスクを達成する。
論文 参考訳(メタデータ) (2023-03-02T20:42:05Z) - Class Prototype-based Cleaner for Label Noise Learning [73.007001454085]
半教師付き学習法は、雑音ラベル学習問題に対する現在のSOTAソリューションである。
textbfClass textbfPrototype-based label textbfCleaner。
論文 参考訳(メタデータ) (2022-12-21T04:56:41Z) - Blessing of Class Diversity in Pre-training [54.335530406959435]
事前学習タスクのクラスが十分に多種多様である場合、事前学習は下流タスクのサンプル効率を大幅に向上させることができることを示す。
我々の証明は、合成関数クラスに対するベクトル形式ラデマッハ複雑性連鎖則と修正自己調和条件に依存している。
論文 参考訳(メタデータ) (2022-09-07T20:10:12Z) - Counterfactual Zero-Shot and Open-Set Visual Recognition [95.43275761833804]
Zero-Shot Learning (ZSL) と Open-Set Recognition (OSR) の両方に対する新しい反実用フレームワークを提案する。
我々の考えは、目に見えないクラスのための生成されたサンプルは、しばしば真の分布から外れているという観察に由来する。
当社のフレームワークが見掛け/見当たらない不均衡を効果的に緩和し,全体的なパフォーマンスを大幅に向上させることを示す。
論文 参考訳(メタデータ) (2021-03-01T10:20:04Z) - Classification with Strategically Withheld Data [41.78264347024645]
機械学習のテクニックは、クレジット承認や大学入学などのアプリケーションで有用である。
このような文脈でより好意的に分類するために、エージェントは、悪いテストスコアなどのいくつかの特徴を戦略的に控えることを決定できる。
sc Mincut, sc Hill-Climbing (sc HC) と Incentive-Logistic Regression (sc-LR) の3つの分類法を設計する。
論文 参考訳(メタデータ) (2020-12-18T12:54:41Z) - Learning and Evaluating Representations for Deep One-class
Classification [59.095144932794646]
ディープワンクラス分類のための2段階フレームワークを提案する。
まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。
実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
論文 参考訳(メタデータ) (2020-11-04T23:33:41Z) - Making Coherence Out of Nothing At All: Measuring the Evolution of
Gradient Alignment [15.2292571922932]
本研究では,トレーニング中のサンプルごとの勾配のアライメントを実験的に研究するための新しい指標(m$-coherence)を提案する。
我々は、$m$-coherenceがより解釈可能で、$O(m2)$ではなく$O(m)$で計算し、数学的にクリーンであることを示します。
論文 参考訳(メタデータ) (2020-08-03T21:51:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。