論文の概要: Towards Reliable Zero Shot Classification in Self-Supervised Models with Conformal Prediction

• arxiv url: http://arxiv.org/abs/2210.15805v1
• Date: Thu, 27 Oct 2022 23:52:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 15:41:04.918862
• Title: Towards Reliable Zero Shot Classification in Self-Supervised Models with Conformal Prediction
• Title（参考訳）: 等角予測を伴う自己監督モデルにおける信頼性の高いゼロショット分類に向けて
• Authors: Bhawesh Kumar, Anil Palepu, Rudraksh Tuwani and Andrew Beam
• Abstract要約: 我々は,所定のテストキャプションを確実に使用できるかを評価するためのコンフォメーション予測手法を開発した。 提案手法により, ゼロショット分類設定におけるCLIPスタイルモデルの信頼性が向上することを示す。
• 参考スコア（独自算出の注目度）: 0.688204255655161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised models trained with a contrastive loss such as CLIP have shown to be very powerful in zero-shot classification settings. However, to be used as a zero-shot classifier these models require the user to provide new captions over a fixed set of labels at test time. In many settings, it is hard or impossible to know if a new query caption is compatible with the source captions used to train the model. We address these limitations by framing the zero-shot classification task as an outlier detection problem and develop a conformal prediction procedure to assess when a given test caption may be reliably used. On a real-world medical example, we show that our proposed conformal procedure improves the reliability of CLIP-style models in the zero-shot classification setting, and we provide an empirical analysis of the factors that may affect its performance.
• Abstract（参考訳）: CLIPのような対照的な損失で訓練された自己教師型モデルは、ゼロショット分類設定において非常に強力であることが示されている。 しかし、ゼロショット分類器として使用するには、テスト時にユーザが固定されたラベルセットに新しいキャプションを提供する必要がある。 多くの設定において、新しいクエリキャプションがモデルのトレーニングに使用されるソースキャプションと互換性があるかどうかを知ることは困難または不可能である。 ゼロショット分類タスクを異常検出問題とみなし、与えられたテストキャプションを確実に使用できるかを評価するための適合予測手順を開発することで、これらの制限に対処する。 実世界の医学的な例では,提案手法によりゼロショット分類設定におけるCLIPスタイルモデルの信頼性が向上し,その性能に影響を及ぼす可能性のある要因を実証分析する。

関連論文リスト

• Estimating the Conformal Prediction Threshold from Noisy Labels [22.841631892273547]
  雑音ラベル付きデータに基づいて、ノイズのない共形閾値を推定する方法を示す。 我々は、ノイズ・アウェア・コンフォーマル・予測(NACP)のアプローチを検証し、いくつかの自然・医療画像分類データセットについて示す。
  論文  参考訳（メタデータ） (2025-01-22T09:35:58Z)
• Estimating Uncertainty in Multimodal Foundation Models using Public Internet Data [15.365603519829088]
  ファンデーションモデルは、自己教師付き学習を使用して、大規模に大量のデータをトレーニングする。 本稿では,ゼロショット予測における不確実性を定量化する問題に対処する。 ウェブデータとの共形予測を用いたゼロショット設定における不確実性推定手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T19:24:52Z)
• Image-free Classifier Injection for Zero-Shot Classification [72.66409483088995]
  ゼロショット学習モデルは、訓練中に見られなかったクラスからのサンプルのイメージ分類において顕著な結果が得られる。 我々は,画像データを用いることなく,ゼロショット分類機能を備えた事前学習モデルの装備を目指す。 提案したイメージフリーインジェクション・ウィズ・セマンティックス (ICIS) でこれを実現する。
  論文  参考訳（メタデータ） (2023-08-21T09:56:48Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• Zero-shot Model Diagnosis [80.36063332820568]
  ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。 本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
  論文  参考訳（メタデータ） (2023-03-27T17:59:33Z)
• Enabling Calibration In The Zero-Shot Inference of Large Vision-Language Models [58.720142291102135]
  プロンプト、データセット、アーキテクチャといった関連する変数のキャリブレーションを測定し、CLIPによるゼロショット推論が誤校正されていることを見つけます。 学習した1つの温度は、推論データセットにまたがって特定のCLIPモデルごとに一般化され、選択が促される。
  論文  参考訳（メタデータ） (2023-03-11T17:14:04Z)
• Language Models in the Loop: Incorporating Prompting into Weak Supervision [11.10422546502386]
  本稿では,ラベル付きトレーニングデータに制限がある場合に,大規模事前学習言語モデルを新しいタスクに適用するための新しい戦略を提案する。 典型的にゼロショットや少数ショットの方法でモデルを適用する代わりに、弱い監督フレームワークにおける関数のラベル付けの基盤としてモデルを扱います。
  論文  参考訳（メタデータ） (2022-05-04T20:42:40Z)
• Estimating the Robustness of Classification Models by the Structure of the Learned Feature-Space [10.418647759223964]
  固定テストセットは、可能なデータバリエーションのごく一部しかキャプチャできないため、制限され、新しい過度なソリューションを生成する傾向にある、と私たちは主張する。 これらの欠点を克服するために、学習した特徴空間の構造から直接モデルのロバスト性を推定することを提案する。
  論文  参考訳（メタデータ） (2021-06-23T10:52:29Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。