論文の概要: S-CLIP: Semi-supervised Vision-Language Learning using Few Specialist Captions

• arxiv url: http://arxiv.org/abs/2305.14095v2
• Date: Wed, 25 Oct 2023 14:49:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 20:52:33.131288
• Title: S-CLIP: Semi-supervised Vision-Language Learning using Few Specialist Captions
• Title（参考訳）: S-CLIP:少数のスペシャリストによる半教師付き視覚言語学習
• Authors: Sangwoo Mo, Minkyu Kim, Kyungmin Lee, Jinwoo Shin
• Abstract要約: 対照的な言語画像事前学習(CLIP)のような視覚言語モデルは、自然画像領域において顕著な結果を示した。 S-CLIPはCLIPを訓練するための半教師付き学習手法であり、追加の未ペア画像を利用する。 S-CLIPは、ゼロショット分類でCLIPを10%改善し、リモートセンシングベンチマークで画像テキスト検索で4%改善した。
• 参考スコア（独自算出の注目度）: 69.01985134519244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models, such as contrastive language-image pre-training (CLIP), have demonstrated impressive results in natural image domains. However, these models often struggle when applied to specialized domains like remote sensing, and adapting to such domains is challenging due to the limited number of image-text pairs available for training. To address this, we propose S-CLIP, a semi-supervised learning method for training CLIP that utilizes additional unpaired images. S-CLIP employs two pseudo-labeling strategies specifically designed for contrastive learning and the language modality. The caption-level pseudo-label is given by a combination of captions of paired images, obtained by solving an optimal transport problem between unpaired and paired images. The keyword-level pseudo-label is given by a keyword in the caption of the nearest paired image, trained through partial label learning that assumes a candidate set of labels for supervision instead of the exact one. By combining these objectives, S-CLIP significantly enhances the training of CLIP using only a few image-text pairs, as demonstrated in various specialist domains, including remote sensing, fashion, scientific figures, and comics. For instance, S-CLIP improves CLIP by 10% for zero-shot classification and 4% for image-text retrieval on the remote sensing benchmark, matching the performance of supervised CLIP while using three times fewer image-text pairs.
• Abstract（参考訳）: 対照的な言語画像事前学習(CLIP)のような視覚言語モデルは、自然画像領域において顕著な結果を示した。 しかしながら、リモートセンシングなどの専門分野に適用する場合、トレーニングに利用可能な画像テキストペア数が限られているため、これらのモデルでは苦労することが多い。 そこで本稿では,CLIPを訓練するための半教師付き学習手法であるS-CLIPを提案する。 s-clipは、コントラスト学習と言語モダリティに特化した2つの擬似ラベル戦略を採用している。 このキャプションレベルの擬似ラベルは、ペア画像のキャプションの組み合わせにより与えられるもので、ペア画像とペア画像の最適な輸送問題を解く。 キーワードレベルの擬似ラベルは、最も近いペア画像のキャプションのキーワードによって与えられ、正確なラベルではなく、ラベルの候補セットを想定した部分ラベル学習によって訓練される。 これらの目的を組み合わせることで、S-CLIPは、リモートセンシング、ファッション、科学的人物、漫画など、さまざまな専門分野において示されるように、少数の画像テキストペアを使用したCLIPのトレーニングを大幅に強化する。 例えば、s-clipは、ゼロショット分類ではクリップを10%改善し、リモートセンシングベンチマークでは画像テキスト検索では4%改善し、教師付きクリップのパフォーマンスにマッチし、3倍少ない画像テキストペアを使用する。

関連論文リスト

• Selective Vision-Language Subspace Projection for Few-shot CLIP [55.361337202198925]
  SSP (Selective Vision-Language Subspace Projection) という手法を導入する。 SSPはローカルな画像特徴を取り入れ、それらをブリッジとして利用し、画像とテキストのペア間のアライメントを強化する。 提案手法では,学習不要な行列計算しか必要とせず,高度なCLIPベースの数ショット学習フレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-07-24T03:45:35Z)
• CLIP meets Model Zoo Experts: Pseudo-Supervision for Visual Enhancement [65.47237619200442]
  Contrastive Language Image Pretraining (CLIP)は、視覚言語モデルを訓練するための標準手法である。 モデル動物園からのタスク固有の視覚モデルを用いてCLIPトレーニングを強化し、視覚的表現を改善する。 この単純なセットアップは、異なるビジョンタスク間で最大16.3%の大幅な改善を示している。
  論文  参考訳（メタデータ） (2023-10-21T20:20:13Z)
• GOPro: Generate and Optimize Prompts in CLIP using Self-Supervised Learning [14.532939492926406]
  我々は、CLIPの対照的な損失とSSLの損失の課題を克服するために、GOProと呼ばれる素早い学習ベースモデルを提案する。 GOroは、CLIPとSSLの長所を原則的に組み合わせて、3つの損失目標すべてに対してエンドツーエンドでトレーニングされている。
  論文  参考訳（メタデータ） (2023-08-22T17:53:26Z)
• Multi-Label Self-Supervised Learning with Scene Images [21.549234013998255]
  本稿では,シーン/マルチラベル画像SSLを多ラベル分類問題として扱うことで,画質の表現を学習可能であることを示す。 提案手法はMulti-Label Self-supervised Learning (MLS) と呼ばれる。
  論文  参考訳（メタデータ） (2023-08-07T04:04:22Z)
• Improving CLIP Training with Language Rewrites [57.935517901210225]
  言語書き換えによるCLIPトレーニングを強化するために,Language augmented CLIP (LaCLIP)を導入した。 また,LaCLIPは,学習中に計算やメモリオーバーヘッドを伴わずに転送性能を大幅に向上することを示した。 ImageNetゼロショット精度では、LaCLIPはCC12MでCLIPを8.2%、LAION-400Mで2.4%上回る。
  論文  参考訳（メタデータ） (2023-05-31T17:59:04Z)
• GridCLIP: One-Stage Object Detection by Grid-Level CLIP Representation Learning [55.77244064907146]
  一段階検出器GridCLIPはグリッドレベルの表現を学習し、一段階検出学習の本質的な原理に適応する。 実験により、学習したCLIPベースのグリッドレベル表現は、アンダーサンプリングされた(稀で新しい)カテゴリのパフォーマンスを高めることが示された。
  論文  参考訳（メタデータ） (2023-03-16T12:06:02Z)
• CLIPPO: Image-and-Language Understanding from Pixels Only [36.433133689137875]
  我々は、画像、テキスト、マルチモーダルタスクを実行するための純粋なピクセルベースモデルを提案する。 我々のモデルは対照的な損失だけで訓練されているので、CLIP-Pixels Only (CLIPPO)と呼ぶ。 画像テキストのコントラスト学習と次文のコントラスト学習を併用することで、CLIPPOは自然言語理解タスクでうまく機能する。
  論文  参考訳（メタデータ） (2022-12-15T18:52:08Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。