論文の概要: Exemplar-Based Contrastive Self-Supervised Learning with Few-Shot Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2202.02601v1
• Date: Sat, 5 Feb 2022 17:14:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 17:02:07.960675
• Title: Exemplar-Based Contrastive Self-Supervised Learning with Few-Shot Class Incremental Learning
• Title（参考訳）: Few-Shot Class Incremental Learning を用いた卓越したコントラスト学習
• Authors: Daniel T. Chang
• Abstract要約: 人間の学習において、経験に基づく概念の教師付き学習は、ラベルなしおよびラベル付きデータに基づく対照的な自己教師付き学習(CSSL)のより大きな文脈内で行われる。 拡張の大きなメリットは、教師付き微調整を備えた模範ベースのCSSLが、数ショットクラスのインクリメンタルラーニング(CIL)をサポートすることだ。
• 参考スコア（独自算出の注目度）: 0.8722210937404288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans are capable of learning new concepts from only a few (labeled) exemplars, incrementally and continually. This happens within the context that we can differentiate among the exemplars, and between the exemplars and large amounts of other data (unlabeled and labeled). This suggests, in human learning, supervised learning of concepts based on exemplars takes place within the larger context of contrastive self-supervised learning (CSSL) based on unlabeled and labeled data. We discuss extending CSSL (1) to be based mainly on exemplars and only secondly on data augmentation, and (2) to apply to both unlabeled data (a large amount is available in general) and labeled data (a few exemplars can be obtained with valuable supervised knowledge). A major benefit of the extensions is that exemplar-based CSSL, with supervised finetuning, supports few-shot class incremental learning (CIL). Specifically, we discuss exemplar-based CSSL including: nearest-neighbor CSSL, neighborhood CSSL with supervised pretraining, and exemplar CSSL with supervised finetuning. We further discuss using exemplar-based CSSL to facilitate few-shot learning and, in particular, few-shot CIL.
• Abstract（参考訳）: 人間は少数の(ラベル付きの)例から、段階的かつ継続的に新しい概念を学ぶことができる。 これは、先例者と、前例者と他の大量のデータ(ラベル付きおよびラベル付き)の間で区別できるコンテキスト内で発生します。 これは、人間の学習において、前例に基づく概念の教師付き学習は、ラベルなしおよびラベル付きデータに基づくコントラスト付き自己教師付き学習(CSSL)のより大きなコンテキスト内で行われることを示唆している。 本報告では,cssl(1)を例示とデータ拡張のみに基づいて拡張すること,(2)ラベル付きデータ(一般には大量に利用可能)とラベル付きデータの両方に適用することについて論じる(少数の例示は有意義な教師付き知識で得られる)。 拡張の大きなメリットは、教師付き微調整を備えた模範ベースのCSSLが、数ショットクラスのインクリメンタルラーニング(CIL)をサポートすることだ。 具体的には、隣り合うCSSL、教師付き事前訓練付き近隣CSSL、教師付き微調整付き類似CSSLについて論じる。 さらに、事例ベースのCSSLを用いて、数発の学習、特に数発のCILについて論じる。

関連論文リスト

• Learning at a Glance: Towards Interpretable Data-limited Continual Semantic Segmentation via Semantic-Invariance Modelling [21.114359437665364]
  インクリメンタルラーニング(IL)に基づく連続意味セグメンテーション(CSS)は、人間のようなセグメンテーションモデルを開発する上で大きな取り組みである。 現在のCSSアプローチでは、古い知識の保存と新しい知識の学習のトレードオフに直面する。 我々は、CSSの効率的で堅牢で人間らしい、解釈可能なアプローチであるLearning at a Glance (LAG)を提示する。
  論文  参考訳（メタデータ） (2024-07-22T07:17:52Z)
• Multi-Label Knowledge Distillation [86.03990467785312]
  本稿では,新しい多ラベル知識蒸留法を提案する。 一方、マルチラベル学習問題をバイナリ分類問題に分割することにより、ロジットからの情報的意味知識を利用する。 一方,ラベルワイド埋め込みの構造情報を活用することにより,学習した特徴表現の識別性を向上する。
  論文  参考訳（メタデータ） (2023-08-12T03:19:08Z)
• Active Self-Supervised Learning: A Few Low-Cost Relationships Are All You Need [34.013568381942775]
  Self-Supervised Learning (SSL)は、ラベルのないデータから転送可能な表現を学習する選択肢のソリューションとして登場した。 本研究では,この原理を正のアクティブラーニング(PAL)によって形式化し,一般化する。 まず、SSLを超えて理論的に基礎を成す学習フレームワークを公開し、類似性グラフに基づいて、採用するオラクルに応じて教師付きおよび半教師付き学習に取り組むように拡張する。 第二に、事前知識、例えばいくつかのラベルをトレーニングパイプラインの変更なしにSSL損失に組み込むための一貫したアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-03-27T14:44:39Z)
• Larger language models do in-context learning differently [93.90674531127559]
  言語モデルにおけるインコンテキスト学習(ICL)は、セマンティックな事前とインプット・ラベルのマッピングの影響を受けます。 ラベルをフリップしたICLと意味的無関係なラベルを持つICLの2つのセットアップについて検討した。
  論文  参考訳（メタデータ） (2023-03-07T12:24:17Z)
• Learning with Partial Labels from Semi-supervised Perspective [28.735185883881172]
  部分ラベル学習(Partial Label、PL)とは、部分ラベル付きデータから学習するタスクである。 セミスーパーバイザード・パースペクティブ(PLSP)を用いた部分ラベル学習という新しいPL学習手法を提案する。 PLSPは、特に高いあいまいさレベルにおいて、既存のPLベースライン法よりも著しく優れている。
  論文  参考訳（メタデータ） (2022-11-24T15:12:16Z)
• Multiple Instance Learning via Iterative Self-Paced Supervised Contrastive Learning [22.07044031105496]
  バッグレベルのラベルのみが利用可能な場合の個々のインスタンスの学習表現は、MIL(Multiple Case Learning)の課題である。 我々は、MIL表現のための新しいフレームワーク、Iterative Self-paced Supervised Contrastive Learning (ItS2CLR)を提案する。 バッグレベルのラベルから派生したインスタンスレベルの擬似ラベルを活用することで、学習された表現を改善する。
  論文  参考訳（メタデータ） (2022-10-17T21:43:32Z)
• Concept Representation Learning with Contrastive Self-Supervised Learning [0.6091702876917281]
  概念指向ディープラーニング(CODL)は、ディープラーニングの今後の課題を満たすための一般的なアプローチである。 コントラスト型自己教師型学習(CSSL)を用いた概念表現学習の諸側面について論じる。
  論文  参考訳（メタデータ） (2021-12-10T17:16:23Z)
• CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning [58.107679606345165]
  ノイズラベル学習、半教師付き学習、コントラスト学習は、アノテーションコストの削減を必要とする学習プロセスを設計するための3つの異なる戦略である。 本稿では,コントラシブ・セミスーパーバイズド・ラーニング・アルゴリズムであるCSSLと,ノイズラベルを用いた学習のための新しいアルゴリズムであるCoDiMを提案する。
  論文  参考訳（メタデータ） (2021-11-23T04:56:40Z)
• Rich Semantics Improve Few-shot Learning [49.11659525563236]
  アノテーションコストを最小限に抑えながら取得できる「クラスレベル」言語記述を用いることで、少ない学習性能を向上できることを示す。 我々は,視覚トークンと意味トークンを関連付けるための前方および後方エンコーディング機構を開発した。
  論文  参考訳（メタデータ） (2021-04-26T16:48:27Z)
• Graph-based Semi-supervised Learning: A Comprehensive Review [51.26862262550445]
  半教師付き学習(ssl)はラベル付きデータとラベルなしデータの両方を利用する能力があるため、実際非常に価値があります。 重要なSSLメソッドのクラスは、グラフベースの半教師付き学習(GSSL)メソッドに対応するグラフとしてデータを自然に表現することです。 GSSLメソッドは、構造のユニークさ、アプリケーションの普遍性、大規模データへのスケーラビリティのために、さまざまなドメインでその利点を実証しています。
  論文  参考訳（メタデータ） (2021-02-26T05:11:09Z)
• Isometric Propagation Network for Generalized Zero-shot Learning [72.02404519815663]
  一般的な戦略は、クラス属性の意味空間と、見たクラスとそのデータに基づいて画像の視覚空間とのマッピングを学ぶことである。 本稿では,各空間内のクラス間の関係を強化し,2つの空間におけるクラス依存性を整合させるIsometric propagation Network (IPN)を提案する。 IPNは3つの人気のあるゼロショット学習ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-02-03T12:45:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。