論文の概要: ProTeCt: Prompt Tuning for Taxonomic Open Set Classification

• arxiv url: http://arxiv.org/abs/2306.02240v2
• Date: Thu, 28 Mar 2024 05:35:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 22:12:46.123308
• Title: ProTeCt: Prompt Tuning for Taxonomic Open Set Classification
• Title（参考訳）: ProTeCt: 分類学的オープンセット分類のためのプロンプトチューニング
• Authors: Tz-Ying Wu, Chih-Hui Ho, Nuno Vasconcelos,
• Abstract要約: 分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
• 参考スコア（独自算出の注目度）: 59.59442518849203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual-language foundation models, like CLIP, learn generalized representations that enable zero-shot open-set classification. Few-shot adaptation methods, based on prompt tuning, have been shown to further improve performance on downstream datasets. However, these methods do not fare well in the taxonomic open set (TOS) setting, where the classifier is asked to make predictions from label sets across different levels of semantic granularity. Frequently, they infer incorrect labels at coarser taxonomic class levels, even when the inference at the leaf level (original class labels) is correct. To address this problem, we propose a prompt tuning technique that calibrates the hierarchical consistency of model predictions. A set of metrics of hierarchical consistency, the Hierarchical Consistent Accuracy (HCA) and the Mean Treecut Accuracy (MTA), are first proposed to evaluate TOS model performance. A new Prompt Tuning for Hierarchical Consistency (ProTeCt) technique is then proposed to calibrate classification across label set granularities. Results show that ProTeCt can be combined with existing prompt tuning methods to significantly improve TOS classification without degrading the leaf level classification performance.
• Abstract（参考訳）: CLIPのようなビジュアル言語基盤モデルは、ゼロショットのオープンセットの分類を可能にする一般化された表現を学ぶ。 プロンプトチューニングに基づいて、ダウンストリームデータセットのパフォーマンスをさらに向上するために、いくつかのショット適応手法が示されている。 しかし、これらの手法は分類的オープンセット(TOS)の設定ではうまくいきません。 しばしば、葉のレベル(元のクラスラベル)の推測が正しい場合でも、粗い分類学的階級レベルで誤ったラベルを推測する。 この問題に対処するために,モデル予測の階層的一貫性を校正するプロンプトチューニング手法を提案する。 階層的一貫性(hierarchical Consistent Accuracy, HCA)と平均木切り精度(Mean Treecut Accuracy, MTA)という一連の指標が最初に提案され、TOSモデルの性能を評価する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。 その結果,ProTeCtを既存のプロンプトチューニング手法と組み合わせることで,葉レベル分類性能を低下させることなく,TOS分類を大幅に改善できることがわかった。

関連論文リスト

• Prompt Tuned Embedding Classification for Multi-Label Industry Sector Allocation [2.024620791810963]
  本研究では,マルチラベルテキスト分類のためのPrompt Tuningとベースラインの性能をベンチマークする。 企業を投資会社の独自産業分類に分類するために適用される。 このモデルのパフォーマンスは、よく知られた企業とあまり知られていない企業の両方で一貫していることを確認します。
  論文  参考訳（メタデータ） (2023-09-21T13:45:32Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• CHiLS: Zero-Shot Image Classification with Hierarchical Label Sets [24.868024094095983]
  オープン語彙モデル(例えばCLIP)はゼロショット分類において強い性能を示している。 暗黙的な意味的階層を持つデータセットに対する階層的ラベルセット(CHiLS)を用いた分類を提案する。 CHiLSは既存のゼロショットパイプラインで簡単に実装でき、追加のトレーニングコストを必要としない。
  論文  参考訳（メタデータ） (2023-02-06T03:59:15Z)
• Complementary Labels Learning with Augmented Classes [22.460256396941528]
  補完ラベル学習 (Complementary Labels Learning, CLL) は、プライベート質問分類やオンライン学習など、現実世界の多くのタスクに現れる。 CLLAC(Complementary Labels Learning with Augmented Classs)と呼ばれる新しい問題設定を提案する。 ラベルのないデータを用いて,CLLACの分類リスクの偏りのない推定手法を提案する。
  論文  参考訳（メタデータ） (2022-11-19T13:55:27Z)
• Self-Adaptive Label Augmentation for Semi-supervised Few-shot Classification [121.63992191386502]
  Few-shotの分類は、ラベル付きサンプルがわずかにあれば、新しいタスクをうまく一般化できるモデルを学ぶことを目的としている。 そこで本研究では,手動で定義した指標を用いて,ラベルのない各サンプルに適切なラベルを割り当てる半教師付き小ショット分類手法を提案する。 SALAの目新しいところは、タスク適応計量であり、エンドツーエンドの方法で異なるタスクに対するメトリックを適応的に学習することができる。
  論文  参考訳（メタデータ） (2022-06-16T13:14:03Z)
• Cluster & Tune: Boost Cold Start Performance in Text Classification [21.957605438780224]
  実世界のシナリオでは、ラベル付きデータが不足している場合、テキスト分類タスクはコールドスタートから始まることが多い。 中間的教師なし分類タスクを追加することにより,そのようなモデルの性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2022-03-20T15:29:34Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。