論文の概要: Prompt-driven efficient Open-set Semi-supervised Learning
- arxiv url: http://arxiv.org/abs/2209.14205v1
- Date: Wed, 28 Sep 2022 16:25:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 17:22:08.570964
- Title: Prompt-driven efficient Open-set Semi-supervised Learning
- Title(参考訳): プロンプト駆動型効率的なオープンセット半教師付き学習
- Authors: Haoran Li, Chun-Mei Feng, Tao Zhou, Yong Xu and Xiaojun Chang
- Abstract要約: オープンセット半教師付き学習(OSSL)は関心を集めており、未ラベルデータにのみOOD(Out-of-distribution)サンプルが組み込まれているというより実践的なシナリオを調査している。
我々はOpenPromptと呼ばれる,プロンプト駆動の効率的なOSSLフレームワークを提案する。
- 参考スコア(独自算出の注目度): 52.30303262499391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-set semi-supervised learning (OSSL) has attracted growing interest,
which investigates a more practical scenario where out-of-distribution (OOD)
samples are only contained in unlabeled data. Existing OSSL methods like
OpenMatch learn an OOD detector to identify outliers, which often update all
modal parameters (i.e., full fine-tuning) to propagate class information from
labeled data to unlabeled ones. Currently, prompt learning has been developed
to bridge gaps between pre-training and fine-tuning, which shows higher
computational efficiency in several downstream tasks. In this paper, we propose
a prompt-driven efficient OSSL framework, called OpenPrompt, which can
propagate class information from labeled to unlabeled data with only a small
number of trainable parameters. We propose a prompt-driven joint space learning
mechanism to detect OOD data by maximizing the distribution gap between ID and
OOD samples in unlabeled data, thereby our method enables the outliers to be
detected in a new way. The experimental results on three public datasets show
that OpenPrompt outperforms state-of-the-art methods with less than 1% of
trainable parameters. More importantly, OpenPrompt achieves a 4% improvement in
terms of AUROC on outlier detection over a fully supervised model on CIFAR10.
- Abstract(参考訳): open-set semi-supervised learning (ossl) が注目を集めており、アウトオブディストリビューション(ood)サンプルがラベルなしのデータにのみ含まれる、より実用的なシナリオを調査している。
OpenMatchのような既存のOSSLメソッドは、ラベル付きデータからラベルなしデータへのクラス情報を伝達するために、全てのパラメータ(フル微調整)を更新するOOD検出器を学習する。
現在、事前学習と微調整のギャップを埋めるために素早い学習が開発されており、下流タスクの計算効率が向上している。
本稿では,ラベル付きからラベル付きデータへのクラス情報を少数のトレーニング可能なパラメータで伝達する,OpenPromptと呼ばれる,プロンプト駆動の効率的なOSSLフレームワークを提案する。
我々は,未ラベルデータにおけるIDとOODサンプルの分布ギャップを最大化することにより,OODデータを検出するための,即時駆動型共同空間学習機構を提案する。
3つの公開データセットの実験結果は、OpenPromptがトレーニング可能なパラメータの1%未満で最先端のメソッドより優れていることを示している。
さらに重要なことに、openprompt は cifar10 の完全な教師付きモデルよりも auroc on outlier detection の点で 4% の改善を達成している。
関連論文リスト
- LORD: Leveraging Open-Set Recognition with Unknown Data [10.200937444995944]
LORDは未知のデータを活用することでオープンセット認識を活用するためのフレームワークである。
我々は、背景データを利用した3つのモデルに依存しない訓練戦略を特定し、それらを確立された分類器に適用する。
論文 参考訳(メタデータ) (2023-08-24T06:12:41Z) - Semi-Supervised Object Detection in the Open World [16.274397329511192]
我々は、IDデータのみに基づいて訓練された軽量自動エンコーダネットワークからなるアンサンブルベースのOOD検出器を提案する。
提案手法は最先端のOOD検出アルゴリズムと競合し,オープンワールドシナリオにおける半教師付き学習性能を大幅に向上させる。
論文 参考訳(メタデータ) (2023-07-28T17:59:03Z) - M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。
これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。
提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
論文 参考訳(メタデータ) (2023-03-09T09:05:47Z) - Towards General and Efficient Active Learning [20.888364610175987]
アクティブラーニングは、限られたアノテーション予算を利用するために最も有益なサンプルを選択することを目的としている。
本稿では,新しい汎用能動学習法(GEAL)を提案する。
提案手法は,同一モデルの単一パス推定を用いて,異なるデータセット上でデータ選択処理を行うことができる。
論文 参考訳(メタデータ) (2021-12-15T08:35:28Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳(メタデータ) (2021-08-12T09:14:44Z) - OpenCoS: Contrastive Semi-supervised Learning for Handling Open-set
Unlabeled Data [65.19205979542305]
ラベル付けされていないデータには、実際にはクラス外のサンプルが含まれる。
OpenCoSは、このリアルな半教師付き学習シナリオを扱う方法である。
論文 参考訳(メタデータ) (2021-06-29T06:10:05Z) - OpenMatch: Open-set Consistency Regularization for Semi-supervised
Learning with Outliers [71.08167292329028]
我々はOpenMatchと呼ばれる新しいオープンセットセミスーパーバイザードラーニング(OSSL)アプローチを提案する。
OpenMatchは、1-vs-all(OVA)分類器に基づいた新規検出とFixMatchを統合する。
3つのデータセットで最先端のパフォーマンスを実現し、CIFAR10の未ラベルデータで見えないアウトリーチを検出する上で、完全な教師付きモデルよりも優れています。
論文 参考訳(メタデータ) (2021-05-28T23:57:15Z) - Multi-Task Curriculum Framework for Open-Set Semi-Supervised Learning [54.85397562961903]
ラベル付きデータに制限がある場合に、ラベルなしデータを利用して強力なモデルをトレーニングする半教師付き学習(SSL)が提案されている。
我々は、Open-set SSLと呼ばれるより複雑な新しいシナリオに対処する。
提案手法は,OOD試料の効果を除去し,最先端の結果を得る。
論文 参考訳(メタデータ) (2020-07-22T10:33:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。