論文の概要: Label Hallucination for Few-Shot Classification

• arxiv url: http://arxiv.org/abs/2112.03340v1
• Date: Mon, 6 Dec 2021 20:18:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 13:49:51.742843
• Title: Label Hallucination for Few-Shot Classification
• Title（参考訳）: Few-Shot分類のためのラベル幻覚
• Authors: Yiren Jian, Lorenzo Torresani
• Abstract要約: ほとんどショットの分類では、新しい未知のクラスを認識するために、大きな注釈付きベースデータセットから学んだ知識を適応する必要がある。 これら2つの戦略に代替的なアプローチを提案する。 提案手法は, 精度の高い4つの複数ショット分類ベンチマークにおいて, 最先端の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 40.43730385915566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot classification requires adapting knowledge learned from a large annotated base dataset to recognize novel unseen classes, each represented by few labeled examples. In such a scenario, pretraining a network with high capacity on the large dataset and then finetuning it on the few examples causes severe overfitting. At the same time, training a simple linear classifier on top of "frozen" features learned from the large labeled dataset fails to adapt the model to the properties of the novel classes, effectively inducing underfitting. In this paper we propose an alternative approach to both of these two popular strategies. First, our method pseudo-labels the entire large dataset using the linear classifier trained on the novel classes. This effectively "hallucinates" the novel classes in the large dataset, despite the novel categories not being present in the base database (novel and base classes are disjoint). Then, it finetunes the entire model with a distillation loss on the pseudo-labeled base examples, in addition to the standard cross-entropy loss on the novel dataset. This step effectively trains the network to recognize contextual and appearance cues that are useful for the novel-category recognition but using the entire large-scale base dataset and thus overcoming the inherent data-scarcity problem of few-shot learning. Despite the simplicity of the approach, we show that that our method outperforms the state-of-the-art on four well-established few-shot classification benchmarks.
• Abstract（参考訳）: 少数のショット分類では、大きな注釈付きベースデータセットから学んだ知識を適応させ、新しい未知のクラスを認識する必要がある。 このようなシナリオでは、大きなデータセット上で高いキャパシティを持つネットワークを事前トレーニングし、いくつかの例でそれを微調整すると、過度なオーバーフィッティングが発生する。 同時に、大規模ラベル付きデータセットから学んだ"凍結"機能の上に単純な線形分類器をトレーニングしても、新しいクラスの特性にモデルを適応させることができず、効果的に不適合を引き起こす。 本稿では,これら2つの戦略の代替手法を提案する。 まず,新しいクラスでトレーニングされた線形分類器を用いて,大規模データセット全体を擬似ラベルする。 これは、ベースデータベースに新しいカテゴリが存在していないにもかかわらず、大規模なデータセットにおける新しいクラスを効果的に「幻滅する」。 そして、新しいデータセットの標準的なクロスエントロピー損失に加えて、疑似ラベル付きベースサンプルの蒸留損失でモデル全体を微調整する。 このステップは、新しいカテゴリ認識に有用な文脈的および外観的手がかりを認識するために効果的にネットワークを訓練するが、大規模なベースデータセット全体を使用すれば、数発の学習において固有のデータ共有問題を克服できる。 アプローチの単純さにもかかわらず、我々の手法は4つの確立された数ショット分類ベンチマークにおいて最先端の手法よりも優れていることを示す。

関連論文リスト

• Bridging the Gap: Learning Pace Synchronization for Open-World Semi-Supervised Learning [44.91863420044712]
  オープンワールドの半教師付き学習において、機械学習モデルはラベルなしのデータから新しいカテゴリを明らかにすることを任務とする。 本稿では,(1)モデル偏差を軽減するためにクラス固有の負のマージンを課するアダプティブ・コミュニケート・ラミナル・ロス,(2)モデルによって予測される擬似ラベルを利用した擬似ラベル・コントラッシブ・クラスタリングについて紹介する。 本手法は,授業の学習速度のバランスを保ち,画像Netデータセットの平均精度を3%向上させる。
  論文  参考訳（メタデータ） (2023-09-21T09:44:39Z)
• Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks [75.42002070547267]
  テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。 モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T23:43:23Z)
• CvS: Classification via Segmentation For Small Datasets [52.821178654631254]
  本稿では,分類ラベルをセグメントマップの予測から導出する小型データセットのコスト効率の高い分類器であるCvSを提案する。 我々は,CvSが従来の手法よりもはるかに高い分類結果が得られることを示す多種多様な問題に対して,本フレームワークの有効性を評価する。
  論文  参考訳（メタデータ） (2021-10-29T18:41:15Z)
• Bridging Non Co-occurrence with Unlabeled In-the-wild Data for Incremental Object Detection [56.22467011292147]
  物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。 有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。 そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
  論文  参考訳（メタデータ） (2021-10-28T10:57:25Z)
• Coarse2Fine: Fine-grained Text Classification on Coarsely-grained Annotated Data [22.81068960545234]
  本稿では,粗い注釈付きデータに対して,きめ細かい分類を行うことを目的とした,粗い粒度分類と呼ばれる新しい問題を提案する。 新しいきめ細かい人間のアノテーションを求める代わりに、ラベル表面の名前のみを人間の手引きとして活用することにしました。 我々のフレームワークは、微調整された生成モデルを用いて、擬似学習データをサンプリングし、分類器を訓練し、実際のラベルなしデータをブートストラップしてモデル修正を行う。
  論文  参考訳（メタデータ） (2021-09-22T17:29:01Z)
• On the Exploration of Incremental Learning for Fine-grained Image Retrieval [45.48333682748607]
  我々は,新たなカテゴリが時間とともに追加される場合に,細粒度画像検索の問題を漸進的に考慮する。 本稿では,検索性能の劣化を抑えるための漸進学習手法を提案する。 提案手法は,新しいクラスにおいて高い性能を保ちながら,元のクラスにおける破滅的な忘れを効果的に軽減する。
  論文  参考訳（メタデータ） (2020-10-15T21:07:44Z)
• Cooperative Bi-path Metric for Few-shot Learning [50.98891758059389]
  数発の分類問題の調査に2つの貢献をしている。 本稿では,従来の教師あり学習法において,ベースクラスで訓練されたシンプルで効果的なベースラインについて報告する。 本稿では, 基礎クラスと新しいクラス間の相関を利用して, 精度の向上を図る, 分類のための協調的二経路計量を提案する。
  論文  参考訳（メタデータ） (2020-08-10T11:28:52Z)
• Towards Cross-Granularity Few-Shot Learning: Coarse-to-Fine Pseudo-Labeling with Visual-Semantic Meta-Embedding [13.063136901934865]
  少ないショットラーニングは、テスト時に少数のサンプルしか持たない、新しいカテゴリに迅速に適応することを目的としている。 本稿では,より困難なシナリオ,すなわちクロスグラニュラリティ・グラニュラリティ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラ 画像埋め込みの類似性に応じて,各粗いクラスを擬似微細クラスにグリーディクラスタリングすることで,詳細なデータ分布を近似する。
  論文  参考訳（メタデータ） (2020-07-11T03:44:21Z)
• Automatically Discovering and Learning New Visual Categories with Ranking Statistics [145.89790963544314]
  我々は,他のクラスをラベル付けした画像コレクションにおいて,新しいクラスを発見する問題に対処する。 汎用クラスタリングモデルを学び、後者を用いて、非競合データ中の新しいクラスを識別する。 我々は,標準分類ベンチマークに対するアプローチと,新しいカテゴリー発見法の性能を,有意なマージンで評価した。
  論文  参考訳（メタデータ） (2020-02-13T18:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。