論文の概要: Learning to Decompose Visual Features with Latent Textual Prompts

• arxiv url: http://arxiv.org/abs/2210.04287v1
• Date: Sun, 9 Oct 2022 15:40:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 17:48:27.797061
• Title: Learning to Decompose Visual Features with Latent Textual Prompts
• Title（参考訳）: テキストプロンプトで視覚的特徴を分解する学習
• Authors: Feng Wang, Manling Li, Xudong Lin, Hairong Lv, Alexander G. Schwing and Heng Ji
• Abstract要約: 視覚言語モデルを改善するために,Decomposed Feature Prompting (DeFo)を提案する。 我々の実証研究は、視覚言語モデルを改善する上でDeFoが重要であることを示している。
• 参考スコア（独自算出の注目度）: 140.2117637223449
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in pre-training vision-language models like CLIP have shown great potential in learning transferable visual representations. Nonetheless, for downstream inference, CLIP-like models suffer from either 1) degraded accuracy and robustness in the case of inaccurate text descriptions during retrieval-based inference (the challenge for zero-shot protocol); or 2) breaking the well-established vision-language alignment (the challenge for linear probing). To address them, we propose Decomposed Feature Prompting (DeFo). DeFo leverages a flexible number of learnable embeddings as textual input while maintaining the vision-language dual-model architecture, which enables the model to learn decomposed visual features with the help of feature-level textual prompts. We further use an additional linear layer to perform classification, allowing a scalable size of language inputs. Our empirical study shows DeFo's significance in improving the vision-language models. For example, DeFo obtains 73.2% test accuracy on ImageNet with a ResNet-50 backbone without tuning any pretrained weights of both the vision and language encoder, outperforming zero-shot CLIP by a large margin of 15.0%, and outperforming state-of-the-art vision-language prompt tuning method by 7.6%.
• Abstract（参考訳）: CLIPのような事前学習型視覚言語モデルの最近の進歩は、伝達可能な視覚表現を学習する大きな可能性を示している。 それでも、下流の推論では、CLIPのようなモデルはどちらも苦しむ。 1)検索ベース推論中の不正確なテキスト記述の場合(ゼロショットプロトコルの挑戦)における精度と頑健さの低下。 2) 確立された視覚言語アライメント(線形探索の課題)を破る。 そこで本稿では,デコンプリート・フィーチャー・プロンプティング(DeFo)を提案する。 defoは、視覚言語によるデュアルモデルアーキテクチャを維持しながら、柔軟な多数の学習可能な埋め込みをテキスト入力として活用している。 さらに,言語入力のスケーラブルなサイズを実現するために,線形層を追加して分類を行う。 我々の実証研究は、視覚言語モデルの改善におけるDeFoの重要性を示している。 例えば、DeFoは、ResNet-50バックボーンでImageNetの73.2%のテスト精度を、ビジョンと言語エンコーダの両方の事前訓練された重みをチューニングすることなく取得し、ゼロショットCLIPを15.0%、最先端のビジョン言語プロンプトチューニング方法を7.6%上回る。

関連論文リスト

• SILC: Improving Vision Language Pretraining with Self-Distillation [113.50400246862056]
  本稿では,視覚言語事前学習のための新しいフレームワークであるSILCを紹介する。 SILCは、局所-言語対応学習を自己蒸留で簡単に追加することで、画像テキストのコントラスト学習を改善する。 指数移動平均(EMA)教師モデルから局所像の特徴を抽出することにより,検出やセグメンテーションといった密集した予測タスクにおけるモデル性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-10-20T08:44:47Z)
• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
  本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
  論文  参考訳（メタデータ） (2022-11-28T14:58:15Z)
• CPL: Counterfactual Prompt Learning for Vision and Language Models [76.18024920393245]
  本稿では、視覚と言語モデルのための新しいアンダーラインテキストbfCounterfactual underlinetextbfPrompt underlinetextbfLearning (CPL)法を提案する。 CPLは、共同最適化フレームワークにおいて、反ファクト生成とコントラスト学習を同時に採用している。 実験により、CPLは異なるビジョンと言語タスクにおいて優れた数ショットのパフォーマンスを得ることができることが示された。
  論文  参考訳（メタデータ） (2022-10-19T08:06:39Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。