論文の概要: Generalization Bounds for Transfer Learning with Pretrained Classifiers
- arxiv url: http://arxiv.org/abs/2212.12532v1
- Date: Fri, 23 Dec 2022 18:46:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 17:12:24.213045
- Title: Generalization Bounds for Transfer Learning with Pretrained Classifiers
- Title（参考訳）: 事前制約付き分類器を用いた移動学習のための一般化境界
- Authors: Tomer Galanti, Andr\'as Gy\"orgy, Marcus Hutter
- Abstract要約: 本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。
学習データ上の数発の誤差は、クラス-機能的変動の崩壊の度合いを用いて上限値にすることができることを示す。
- 参考スコア（独自算出の注目度）: 26.844410679685424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the ability of foundation models to learn representations for
classification that are transferable to new, unseen classes. Recent results in
the literature show that representations learned by a single classifier over
many classes are competitive on few-shot learning problems with representations
learned by special-purpose algorithms designed for such problems. We offer an
explanation for this phenomenon based on the concept of class-features
variability collapse, which refers to the training dynamics of deep
classification networks where the feature embeddings of samples belonging to
the same class tend to concentrate around their class means. More specifically,
we examine the few-shot error of the learned feature map, which is the
classification error of the nearest class-center classifier using centers
learned from a small number of random samples from each class. Assuming that
the classes appearing in the data are selected independently from a
distribution, we show that the few-shot error generalizes from the training
data to unseen test data, and we provide an upper bound on the expected
few-shot error for new classes (selected from the same distribution) using the
average few-shot error for the source classes. Additionally, we show that the
few-shot error on the training data can be upper bounded using the degree of
class-features variability collapse. This suggests that foundation models can
provide feature maps that are transferable to new downstream tasks even with
limited data available.
- Abstract（参考訳）: 本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。
論文の最近の結果は、多くのクラスで単一の分類子によって学習される表現は、そのような問題のために設計された特別な目的のアルゴリズムによって学習される表現を持つ、少数の学習問題と競合していることを示している。
本稿では,同クラスに属するサンプルの特徴埋め込みがクラス平均に集中する傾向にある深層分類網のトレーニング力学を参考に,クラス変数の崩壊という概念に基づいて,この現象を説明する。
より具体的には、各クラスから少数のランダムサンプルから学習したセンターを用いて、最寄りのクラス中心分類器の分類誤差である学習特徴マップの少数ショット誤差を調べる。
本研究は,データに現れるクラスが分布から独立して選択されることを前提として,トレーニングデータから未確認テストデータに数ショットエラーが一般化されることを示し,ソースクラスの平均的な数ショットエラーを用いて,新しいクラス(同じ分布から選択された)に対して期待される数ショットエラーの上限を提供する。
さらに, 学習データの最小ショット誤差は, クラス特徴量変動の程度を用いて上限を上回ることができることを示した。
これは基盤モデルが、限られたデータでも新しい下流タスクに転送可能な機能マップを提供することができることを示唆している。
関連論文リスト
- Covariance-based Space Regularization for Few-shot Class Incremental Learning [25.435192867105552]
FSCIL(Few-shot Class Incremental Learning)では,ラベル付きデータに制限のあるクラスを継続的に学習する必要がある。
インクリメンタルセッションにおける限られたデータのため、モデルは新しいクラスを過度に適合させ、ベースクラスの破滅的な忘れを苦しむ傾向にある。
最近の進歩は、基本クラス分布を制約し、新しいクラスの識別的表現を学習するプロトタイプベースのアプローチに頼っている。
論文 参考訳（メタデータ） (2024-11-02T08:03:04Z) - Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳（メタデータ） (2023-12-08T18:24:08Z) - Evidential Deep Learning for Class-Incremental Semantic Segmentation [15.563703446465823]
クラス増分学習(Class-Incremental Learning)は、以前トレーニングされたニューラルネットワークを新しいクラスに拡張することを目的とした機械学習の課題である。
本稿では、将来的な非相関クラスの特徴クラスタリングを回避しつつ、ラベルのないクラスをモデル化する方法の問題に対処する。
提案手法は,この問題をディリクレ分布の期待値と推定の不確実性に対応する未知のクラス(背景)確率で計算した,別のフォアグラウンドクラス確率に分解する。
論文 参考訳（メタデータ） (2022-12-06T10:13:30Z) - GMM-IL: Image Classification using Incrementally Learnt, Independent
Probabilistic Models for Small Sample Sizes [0.4511923587827301]
本稿では,視覚的特徴学習と確率モデルを組み合わせた2段階アーキテクチャを提案する。
我々は、ソフトマックスヘッドを用いた等価ネットワークのベンチマークを上回り、サンプルサイズが12以下の場合の精度が向上し、3つの不均衡なクラスプロファイルに対する重み付きF1スコアが向上した。
論文 参考訳（メタデータ） (2022-12-01T15:19:42Z) - On the Role of Neural Collapse in Transfer Learning [29.972063833424215]
近年,多くのクラスにまたがる単一分類器で学習した表現は,数発の学習問題において競合することが示された。
神経崩壊は、トレーニングクラスからの新しいサンプルに一般化され、さらに重要なことは、新しいクラスにも一般化されます。
論文 参考訳（メタデータ） (2021-12-30T16:36:26Z) - Long-tail Recognition via Compositional Knowledge Transfer [60.03764547406601]
末尾クラスの少数ショット問題に対処する長尾認識のための新しい戦略を導入する。
我々の目標は、情報に富んだ共通クラスから得られた知識を、意味的に類似しているがデータに富む稀なクラスに伝達することである。
実験結果から,本手法は稀なクラスにおいて,堅牢な共通クラス性能を維持しつつ,大幅な性能向上を達成できることが示唆された。
論文 参考訳（メタデータ） (2021-12-13T15:48:59Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳（メタデータ） (2021-10-31T16:15:09Z) - Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。
分析の結果,分類精度は分布に依存していることがわかった。
得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文 参考訳（メタデータ） (2020-11-16T05:17:29Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳（メタデータ） (2020-08-31T04:11:24Z) - Few-Shot Learning with Intra-Class Knowledge Transfer [100.87659529592223]
アンバランスなデータセットを用いた数発の分類タスクについて検討する。
近年の研究では、生成モデルを用いて数発の授業のトレーニングデータを増やすことで、この課題を解決することが提案されている。
本稿では,近隣クラスが類似した統計情報を共有するという直感で,近隣クラスからのクラス内知識を活用することを提案する。
論文 参考訳（メタデータ） (2020-08-22T18:15:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。