Fugu-MT 論文翻訳(概要): Improving Zero-Shot Models with Label Distribution Priors

論文の概要: Improving Zero-Shot Models with Label Distribution Priors

arxiv url: http://arxiv.org/abs/2212.00784v1
Date: Thu, 1 Dec 2022 18:59:03 GMT
ステータス: 処理完了
システム内更新日: 2022-12-02 15:19:23.994844
Title: Improving Zero-Shot Models with Label Distribution Priors
Title（参考訳）: ラベル分布優先によるゼロショットモデルの改善
Authors: Jonathan Kahana, Niv Cohen, Yedid Hoshen
Abstract要約: 本稿では,ゼロショットモデルを適用した新しいアプローチであるCLIPPRを提案する。 UTK年齢回帰作業における平均絶対誤差は平均28%改善した。また、分類ベンチマークの有望な結果を示し、ラベルを使わずにImageNetデータセットの分類精度を2.83%改善した。
参考スコア（独自算出の注目度）: 33.51714665243138
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Labeling large image datasets with attributes such as facial age or object type is tedious and sometimes infeasible. Supervised machine learning methods provide a highly accurate solution, but require manual labels which are often unavailable. Zero-shot models (e.g., CLIP) do not require manual labels but are not as accurate as supervised ones, particularly when the attribute is numeric. We propose a new approach, CLIPPR (CLIP with Priors), which adapts zero-shot models for regression and classification on unlabelled datasets. Our method does not use any annotated images. Instead, we assume a prior over the label distribution in the dataset. We then train an adapter network on top of CLIP under two competing objectives: i) minimal change of predictions from the original CLIP model ii) minimal distance between predicted and prior distribution of labels. Additionally, we present a novel approach for selecting prompts for Vision & Language models using a distributional prior. Our method is effective and presents a significant improvement over the original model. We demonstrate an improvement of 28% in mean absolute error on the UTK age regression task. We also present promising results for classification benchmarks, improving the classification accuracy on the ImageNet dataset by 2.83%, without using any labels.
Abstract（参考訳）: 顔年齢やオブジェクトタイプなどの属性による大きな画像データセットのラベリングは退屈で、時には実現不可能である。監視された機械学習手法は、非常に正確なソリューションを提供するが、しばしば利用できない手動ラベルを必要とする。ゼロショットモデル(例えばCLIP)は手動ラベルを必要としないが、特に属性が数値である場合、教師付きラベルほど正確ではない。そこで本研究では,ゼロショットモデルを適用した新しい手法であるクリップpr(clip with priors)を提案する。我々の手法では注釈付き画像は一切使用しない。その代わり、データセット内のラベルの分布に先立ってプリエントを仮定します。次に、2つの競合する目標の下で、CLIP上にアダプタネットワークをトレーニングします。 i)オリジナルクリップモデルからの予測の最小限の変更二ラベルの予測分布と事前分布との間の最小距離さらに,本研究では,事前分布を用いたビジョン・アンド・ランゲージモデルのプロンプト選択手法を提案する。提案手法は有効であり,元のモデルよりも大幅に改善されている。 utk年齢回帰課題において,平均絶対誤差が28%向上することを示した。また、分類ベンチマークの有望な結果を示し、ラベルを使わずにImageNetデータセットの分類精度を2.83%改善した。

関連論文リスト

Enhancing Zero-Shot Vision Models by Label-Free Prompt Distribution Learning and Bias Correcting [55.361337202198925]
CLIPのようなヴィジュアル言語モデルは、適切なテキスト記述を使用する際に、顕著な一般化能力を示している。本稿では,ラベル付きデータを必要としないゼロショット性能を向上する,**Frolic**と呼ばれるラベルフリーな分布学習とバイアス補正フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-25T04:00:45Z)
ReCLIP: Refine Contrastive Language Image Pre-Training with Source Free Domain Adaptation [20.57370550156505]
ReCLIPは、ヴィジュアル言語モデルのための、ソースフリーなドメイン適応手法である。 ReCLIPは、22の画像分類ベンチマークにおいて、CLIPの平均エラー率を30.17%から25.06%に下げることを示した。
論文参考訳（メタデータ） (2023-08-04T18:11:40Z)
Semi-Supervised Learning with Pseudo-Negative Labels for Image Classification [14.100569951592417]
擬陰性ラベルに基づく相互学習フレームワークを提案する。擬似負ラベルの予測確率を下げることにより、二重モデルは予測能力を向上させることができる。我々のフレームワークは、いくつかの主要なベンチマークで最先端の結果を達成する。
論文参考訳（メタデータ） (2023-01-10T14:15:17Z)
NorMatch: Matching Normalizing Flows with Discriminative Classifiers for Semi-Supervised Learning [8.749830466953584]
Semi-Supervised Learning (SSL)は、小さなラベル付きセットと大量のラベルなしデータを使ってモデルを学習することを目的としている。この作業では、NorMatchというSSLの新しいフレームワークを紹介します。数値的および視覚的な結果を通して、NorMatchはいくつかのデータセットで最先端のパフォーマンスを達成することを実証する。
論文参考訳（メタデータ） (2022-11-17T15:39:18Z)
Conformal Predictor for Improving Zero-shot Text Classification Efficiency [37.745518881553416]
NLIモデルとNSPモデルの平均推論時間をそれぞれ25.6%、22.2%削減する。各データセットに適したCPを用いて、NLIベースのモデルとNSPベースのモデルの平均推論時間をそれぞれ25.6%、22.2%削減する。
論文参考訳（メタデータ） (2022-10-23T05:19:50Z)
Active Learning by Feature Mixing [52.16150629234465]
本稿では,ALFA-Mixと呼ばれるバッチ能動学習手法を提案する。予測の不整合を求めることにより,不整合な特徴を持つインスタンスを同定する。これらの予測の不整合は、モデルが未認識のインスタンスで認識できない特徴を発見するのに役立ちます。
論文参考訳（メタデータ） (2022-03-14T12:20:54Z)
Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition [98.25592165484737]
CMPL(Cross-Model Pseudo-Labeling)と呼ばれる,より効果的な擬似ラベル方式を提案する。 CMPLは、それぞれRGBモダリティとラベル付きデータのみを使用して、Kinetics-400とUCF-101のTop-1の精度を17.6%と25.1%で達成している。
論文参考訳（メタデータ） (2021-12-17T18:59:41Z)
Multi-label Classification with Partial Annotations using Class-aware Selective Loss [14.3159150577502]
大規模なマルチラベル分類データセットは、一般的に部分的に注釈付けされている。部分的なラベリング問題を解析し、2つの重要なアイデアに基づいた解を提案する。われわれの新しいアプローチにより、OpenImagesデータセット上で最先端の結果が得られる。
論文参考訳（メタデータ） (2021-10-21T08:10:55Z)
Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
論文参考訳（メタデータ） (2021-04-26T16:29:32Z)
One-bit Supervision for Image Classification [121.87598671087494]
1ビットの監視は、不完全なアノテーションから学ぶための新しい設定である。負ラベル抑圧を既成の半教師付き学習アルゴリズムに組み込んだ多段階学習パラダイムを提案する。
論文参考訳（メタデータ） (2020-09-14T03:06:23Z)
Automatically Discovering and Learning New Visual Categories with Ranking Statistics [145.89790963544314]
我々は,他のクラスをラベル付けした画像コレクションにおいて,新しいクラスを発見する問題に対処する。汎用クラスタリングモデルを学び、後者を用いて、非競合データ中の新しいクラスを識別する。我々は,標準分類ベンチマークに対するアプローチと,新しいカテゴリー発見法の性能を,有意なマージンで評価した。
論文参考訳（メタデータ） (2020-02-13T18:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。