論文の概要: CountCLIP -- [Re] Teaching CLIP to Count to Ten

• arxiv url: http://arxiv.org/abs/2406.03586v1
• Date: Wed, 5 Jun 2024 19:05:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 19:14:47.853955
• Title: CountCLIP -- [Re] Teaching CLIP to Count to Ten
• Title（参考訳）: CountCLIP -- [Re]CLIPに10までのカウントを教える
• Authors: Harshvardhan Mestha, Tejas Agarwal, Karan Bania, Shreyas V, Yash Bhisikar,
• Abstract要約: 本稿では,「10人へのCLIP教育」について検討する。 画像中のゼロショットカウント精度を向上させるために、CLIPモデルを微調整する方法を提供する。 より少ない計算資源でトレーニングデータの小さなサブセットでモデルの性能を向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large vision-language models (VLMs) are shown to learn rich joint image-text representations enabling high performances in relevant downstream tasks. However, they fail to showcase their quantitative understanding of objects, and they lack good counting-aware representation. This paper conducts a reproducibility study of 'Teaching CLIP to Count to Ten' (Paiss et al., 2023), which presents a method to finetune a CLIP model (Radford et al., 2021) to improve zero-shot counting accuracy in an image while maintaining the performance for zero-shot classification by introducing a counting-contrastive loss term. We improve the model's performance on a smaller subset of their training data with lower computational resources. We verify these claims by reproducing their study with our own code. The implementation can be found at https://github.com/SforAiDl/CountCLIP.
• Abstract（参考訳）: 大規模視覚言語モデル(VLM)は、下流タスクにおける高いパフォーマンスを実現するために、リッチな共同画像テキスト表現を学習する。 しかし、それらはオブジェクトの定量的な理解を示すことができず、カウント・アウェアの表現が不十分である。 本稿では,CLIPモデル(Radford et al ,2021)を微調整し,ゼロショット分類の性能を維持しつつ,画像中のゼロショットカウント精度を向上させる方法を提案する。 より少ない計算資源でトレーニングデータの小さなサブセットでモデルの性能を向上させる。 私たちは、自分たちのコードで研究を再現することで、これらの主張を検証する。 実装はhttps://github.com/SforAiDl/CountCLIPで確認できる。

関連論文リスト

• TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives [65.82577305915643]
  Contrastive Language-Image Pretraining (CLIP) モデルは、表現を学ぶためにテキストと視覚的モダリティ間の相互情報を最大化する。 そこで本研究では,テキスト・ツー・イメージ・ジェネレータを用いて,文脈内学習による「ハード」の負の字幕生成と,それに対応する負のイメージ生成が解となることを示す。 提案手法はTripletCLIPと呼ばれ,CLIPの構成能力を向上し,SugarCrepeベンチマークでは9%以上向上した。
  論文  参考訳（メタデータ） (2024-11-04T19:24:59Z)
• CLIP with Quality Captions: A Strong Pretraining for Vision Tasks [16.208506912410147]
  良質なキャプションを用いたCLIPプレトレーニングは,近年の教師付き・自己監督型・弱教師付きプレトレーニング方法を上回る可能性がある。 モバイルアーキテクチャはCLIP事前トレーニングのメリットも大きいことが分かっています。
  論文  参考訳（メタデータ） (2024-05-14T19:06:24Z)
• Transductive Zero-Shot and Few-Shot CLIP [24.592841797020203]
  本稿では,トランスダクティブなゼロショットと少数ショットのCLIP分類問題に対処する。 推論は、各インスタンスを独立して扱うのではなく、ラベルのないクエリサンプルのミニバッチで共同で実行される。 提案手法は,CLIPのゼロショット性能に対して,画像ネットの精度を約20%向上させる。
  論文  参考訳（メタデータ） (2024-04-08T12:44:31Z)
• Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
  分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。 新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。 新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
  論文  参考訳（メタデータ） (2024-01-03T07:59:17Z)
• SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model [73.80068155830708]
  予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。 Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。 さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
  論文  参考訳（メタデータ） (2023-03-09T08:57:01Z)
• Teaching CLIP to Count to Ten [18.703050317383322]
  大規模視覚言語モデル(VLM)の定量的理解を改善するための,シンプルで効果的な手法を提案する。 そこで本研究では,既存のVLMを本来の目的に合わせて微調整するために,新たな計数コントラスト損失を提案する。 私たちの知る限りでは、この作業はCLIPの機能をオブジェクトカウントに拡張した最初のものです。
  論文  参考訳（メタデータ） (2023-02-23T14:43:53Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Is a Caption Worth a Thousand Images? A Controlled Study for Representation Learning [88.5382122413913]
  本研究では,従来の画像のみの手法よりも伝達可能な表現を持つ視覚モデルが得られるかを検討した。 画像のみの手法は、より多くの画像データでトレーニングされた場合でも、CLIPの転送性能と一致しないことがわかった。 この結果から,CLIPが既存の事前学習データセットに存在する言語情報を活用できるように,シンプルな処方薬を考案した。
  論文  参考訳（メタデータ） (2022-07-15T17:50:51Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。