論文の概要: Adapting CLIP For Phrase Localization Without Further Training

• arxiv url: http://arxiv.org/abs/2204.03647v1
• Date: Thu, 7 Apr 2022 17:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 13:31:23.460442
• Title: Adapting CLIP For Phrase Localization Without Further Training
• Title（参考訳）: 追加訓練を伴わないPhase LocalizationのためのCLIPの適用
• Authors: Jiahao Li, Greg Shakhnarovich, Raymond A. Yeh
• Abstract要約: 画像とキャプションのペアで事前学習したコントラスト言語ビジョンモデルであるCLIPを活用することを提案する。 我々は高分解能空間特徴写像を生成するためにCLIPを適用した。 フレーズローカライズのための手法は、人間のアノテーションや追加の訓練を必要としない。
• 参考スコア（独自算出の注目度）: 30.467802103692378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised or weakly supervised methods for phrase localization (textual grounding) either rely on human annotations or some other supervised models, e.g., object detectors. Obtaining these annotations is labor-intensive and may be difficult to scale in practice. We propose to leverage recent advances in contrastive language-vision models, CLIP, pre-trained on image and caption pairs collected from the internet. In its original form, CLIP only outputs an image-level embedding without any spatial resolution. We adapt CLIP to generate high-resolution spatial feature maps. Importantly, we can extract feature maps from both ViT and ResNet CLIP model while maintaining the semantic properties of an image embedding. This provides a natural framework for phrase localization. Our method for phrase localization requires no human annotations or additional training. Extensive experiments show that our method outperforms existing no-training methods in zero-shot phrase localization, and in some cases, it even outperforms supervised methods. Code is available at https://github.com/pals-ttic/adapting-CLIP .
• Abstract（参考訳）: 単語ローカライゼーション(テキストグラウンド)の監督または弱教師付き手法は、人間のアノテーションやオブジェクト検出器などの他の教師付きモデルに依存する。 これらのアノテーションの取得は労働集約的であり、実際にスケールするのは困難である。 コントラスト言語ビジョンモデルであるCLIPの最近の進歩を利用して,インターネットから収集した画像とキャプションペアを事前学習することを提案する。 オリジナルの形式では、CLIPは空間分解能のない画像レベルの埋め込みのみを出力する。 我々はクリップを高分解能空間特徴マップに適応させる。 重要なことは、画像埋め込みのセマンティック特性を維持しながら、ViTとResNet CLIPモデルから特徴マップを抽出できることである。 これはフレーズのローカライゼーションの自然な枠組みを提供する。 フレーズローカライゼーションの手法は人間のアノテーションや追加の訓練を必要としない。 提案手法は,ゼロショット句のローカライズにおいて既存のノートレーニング手法よりも優れており,場合によっては教師あり手法よりも優れる場合もある。 コードはhttps://github.com/pals-ttic/adapting-CLIP で公開されている。

関連論文リスト

• TeD-Loc: Text Distillation for Weakly Supervised Object Localization [13.412674368913747]
  TeD-Locは、CLIPテキストの埋め込みからモデルバックボーンに知識を抽出し、パッチレベルのローカライゼーションを生成するアプローチである。 CUBとILSVRCの両方のデータセットで、最先端モデルのTop-1LOC精度を約5%向上させる。
  論文  参考訳（メタデータ） (2025-01-22T04:36:17Z)
• Contrastive Localized Language-Image Pre-Training [60.4967533101887]
  コントラスト言語-画像事前学習(CLIP)は、画像/テキスト表現を生成するために視覚エンコーダを訓練するための著名な方法である。 本稿では,CLIPとリージョンテキストのコントラッシブな損失とモジュールを補完することにより,CLOC(Contrastive Localized Language- Image Pre-Trening)を提案する。 CLOCは画像領域認識および検索タスクのための高品質な地域埋め込みを可能にする。
  論文  参考訳（メタデータ） (2024-10-03T17:56:09Z)
• CLIP-DINOiser: Teaching CLIP a few DINO tricks for open-vocabulary semantic segmentation [31.264574799748903]
  アノテーションを必要としないオープン語彙セマンティックセマンティックセマンティクス法を提案する。 使用済みの自己教師機能プロパティは,CLIP機能から直接学習可能であることを示す。 我々のCLIP-DINOiser法は,CLIPの1つの前方通過と2つの軽い畳み込み層のみを必要とする。
  論文  参考訳（メタデータ） (2023-12-19T17:40:27Z)
• SILC: Improving Vision Language Pretraining with Self-Distillation [113.50400246862056]
  本稿では,視覚言語事前学習のための新しいフレームワークであるSILCを紹介する。 SILCは、局所-言語対応学習を自己蒸留で簡単に追加することで、画像テキストのコントラスト学習を改善する。 指数移動平均(EMA)教師モデルから局所像の特徴を抽出することにより,検出やセグメンテーションといった密集した予測タスクにおけるモデル性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-10-20T08:44:47Z)
• CLIPSelf: Vision Transformer Distills Itself for Open-Vocabulary Dense Prediction [67.43527289422978]
  そこで我々は,CLIPSelfというアプローチを提案し,CLIP ViTの画像レベルの認識能力を局所画像領域に適用する。 オープンボキャブラリオブジェクト検出,セマンティックセグメンテーション,パン光学セグメンテーションを,様々なベンチマークで実現した。
  論文  参考訳（メタデータ） (2023-10-02T17:58:52Z)
• CLIP-DIY: CLIP Dense Inference Yields Open-Vocabulary Semantic Segmentation For-Free [12.15899043709721]
  CLIP-DIYと呼ばれるオープン語彙セマンティックセマンティックセマンティクス手法を提案する。 異なるサイズのパッチに対してCLIP分類機能を活用し、決定を単一のマップに集約する。 PASCAL VOCでは,最先端のゼロショットセマンティックセマンティックセマンティクスが得られ,COCOのベストメソッドと同等に動作する。
  論文  参考訳（メタデータ） (2023-09-25T16:52:59Z)
• CgT-GAN: CLIP-guided Text GAN for Image Captioning [48.276753091051035]
  本稿では,CLIP-Guided text GAN (CgT-GAN) を提案する。 我々は,外部テキストコーパスのフレーズを模倣するために,CgT-GANの教育に逆行訓練を用いる。 CgT-GANは、すべてのメトリクスで最先端のメソッドを著しく上回る。
  論文  参考訳（メタデータ） (2023-08-23T10:25:37Z)
• What is Where by Looking: Weakly-Supervised Open-World Phrase-Grounding without Text Inputs [82.93345261434943]
  入力画像が与えられたら、そのオブジェクトを記述した画像とフレーズのバウンディングボックスを返します。 これは、入力画像内のオブジェクトがローカライゼーション機構のトレーニング中に遭遇しなかった可能性のあるオープンワールドパラダイム内で実現される。 本研究は, 弱教師付きセグメンテーションと句接頭辞を一般化し, 両領域の最先端技術として実証的に示す。
  論文  参考訳（メタデータ） (2022-06-19T09:07:30Z)
• RegionCLIP: Region-based Language-Image Pretraining [94.29924084715316]
  画像テキストペアを用いたコントラスト言語画像事前学習(CLIP)は,画像分類において顕著な結果を得た。 そこで我々は,CLIPを拡張して領域レベルの視覚表現を学習するRegionalCLIPという手法を提案する。 提案手法は,COCOデータセットとLVISデータセットの新たなカテゴリに対して,3.8 AP50と2.2 APの精度を著しく向上させる。
  論文  参考訳（メタデータ） (2021-12-16T18:39:36Z)
• ClipCap: CLIP Prefix for Image Captioning [6.69087470775851]
  簡単なマッピングネットワークを用いてキャプションのプレフィックスとしてCLIPエンコーディングを使用し、次に言語モデルを微調整して画像キャプションを生成する。 我々のモデルは、挑戦的な概念キャプションとnocapsデータセットに関する最先端の手法に匹敵する結果が得られることを実証する。
  論文  参考訳（メタデータ） (2021-11-18T14:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。