論文の概要: CLIP-VG: Self-paced Curriculum Adapting of CLIP for Visual Grounding

• arxiv url: http://arxiv.org/abs/2305.08685v5
• Date: Tue, 19 Nov 2024 14:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:33:57.097360
• Title: CLIP-VG: Self-paced Curriculum Adapting of CLIP for Visual Grounding
• Title（参考訳）: CLIP-VG: Visual GroundingのためのCLIPの自己ペーストカリキュラム適応
• Authors: Linhui Xiao, Xiaoshan Yang, Fang Peng, Ming Yan, Yaowei Wang, Changsheng Xu,
• Abstract要約: 擬似ラベルを用いて地域を特定するために、教師なしの視覚的接地法が開発された。 CLIP-VG は,CLIP を擬似言語ラベルに適応させる手法である。 提案手法は,RefCOCO/+/gデータセットにおいて,最先端の教師なし手法よりも有意差がある。
• 参考スコア（独自算出の注目度）: 86.79903269137971
• License:
• Abstract: Visual Grounding (VG) is a crucial topic in the field of vision and language, which involves locating a specific region described by expressions within an image. To reduce the reliance on manually labeled data, unsupervised visual grounding have been developed to locate regions using pseudo-labels. However, the performance of existing unsupervised methods is highly dependent on the quality of pseudo-labels and these methods always encounter issues with limited diversity. In order to utilize vision and language pre-trained models to address the grounding problem, and reasonably take advantage of pseudo-labels, we propose CLIP-VG, a novel method that can conduct self-paced curriculum adapting of CLIP with pseudo-language labels. We propose a simple yet efficient end-to-end network architecture to realize the transfer of CLIP to the visual grounding. Based on the CLIP-based architecture, we further propose single-source and multi-source curriculum adapting algorithms, which can progressively find more reliable pseudo-labels to learn an optimal model, thereby achieving a balance between reliability and diversity for the pseudo-language labels. Our method outperforms the current state-of-the-art unsupervised method by a significant margin on RefCOCO/+/g datasets in both single-source and multi-source scenarios, with improvements ranging from 6.78$\%$ to 10.67$\%$ and 11.39$\%$ to 14.87$\%$, respectively. The results even outperform existing weakly supervised visual grounding methods. Furthermore, our method is also competitive in fully supervised setting. The code and models are available at https://github.com/linhuixiao/CLIP-VG.
• Abstract（参考訳）: 視覚的グラウンドリング(VG)は視覚と言語において重要なトピックであり、画像内の表現によって記述された特定の領域を特定する。 手動ラベル付きデータへの依存を軽減するため、疑似ラベルを用いた領域の特定のための教師なし視覚的グラウンドニングが開発された。 しかし、既存の教師なし手法の性能は擬似ラベルの品質に大きく依存しており、これらの手法は常に多様性に制限のある問題に遭遇する。 視覚と言語を事前学習したモデルを用いて基礎問題に対処し,疑似ラベルを合理的に活用するために,CLIPを擬似言語ラベルに適応させる新たな手法であるCLIP-VGを提案する。 本稿では,CLIPの視覚的基盤への転送を実現するための,シンプルで効率的なエンドツーエンドネットワークアーキテクチャを提案する。 また、CLIPに基づくアーキテクチャに基づいて、より信頼性の高い擬似ラベルを徐々に発見して最適なモデルを学ぶことができ、擬似言語ラベルの信頼性と多様性のバランスをとることができる、シングルソースおよびマルチソースのカリキュラム適応アルゴリズムを提案する。 提案手法は,RefCOCO/+/gデータセットを単一ソースとマルチソースの両方のシナリオで比較し,それぞれ6.78$\%$から10.67$\%$,11.39$\%$から14.87$\%$に改善した。 その結果、既存の弱教師付き視覚接地法よりも優れた結果が得られた。 さらに,本手法は完全教師付き環境での競争性も高い。 コードとモデルはhttps://github.com/linhuixiao/CLIP-VGで公開されている。

関連論文リスト

• SiamSeg: Self-Training with Contrastive Learning for Unsupervised Domain Adaptation Semantic Segmentation in Remote Sensing [14.007392647145448]
  UDAは、ラベル付きソースドメインデータをトレーニングしながら、ラベルなしのターゲットドメインデータからモデルを学習することを可能にする。 コントラスト学習を UDA に統合し,セマンティック情報を取得する能力を向上させることを提案する。 我々のSimSegメソッドは既存の手法より優れ、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2024-10-17T11:59:39Z)
• CLIP-Guided Source-Free Object Detection in Aerial Images [17.26407623526735]
  高解像度の空中画像は、しばしばかなりのストレージスペースを必要とし、一般にはアクセスできない。 そこで本研究では,これらの課題に対処する新しいSFOD法を提案する。 自己学習における雑音ラベルを緩和するために,コントラスト言語画像事前学習(CLIP)を用いて擬似ラベルの生成を誘導する。 CLIPのゼロショット分類機能を利用することで、そのスコアを予測された元のバウンディングボックスに集約し、擬似ラベルの洗練されたスコアを得ることができる。
  論文  参考訳（メタデータ） (2024-01-10T14:03:05Z)
• TagCLIP: A Local-to-Global Framework to Enhance Open-Vocabulary Multi-Label Classification of CLIP Without Training [29.431698321195814]
  Contrastive Language-Image Pre-Training (CLIP) はオープン語彙分類において顕著な能力を示した。 CLIPは、グローバル機能が最も顕著なクラスに支配される傾向があるため、マルチラベルデータセットのパフォーマンスが低い。 画像タグを得るための局所言語フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:15:40Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)
• Realistic Unsupervised CLIP Fine-tuning with Universal Entropy Optimization [101.08992036691673]
  本稿では,未知のクラスにおける配布外サンプルの存在を考慮し,教師なしの微調整シナリオについて考察する。 特に,分布外検出と既知のクラスに関連するインスタンスの認識を同時に強化することに注力する。 我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-24T16:47:17Z)
• ReCLIP: Refine Contrastive Language Image Pre-Training with Source Free Domain Adaptation [20.57370550156505]
  ReCLIPは、ヴィジュアル言語モデルのための、ソースフリーなドメイン適応手法である。 ReCLIPは、22の画像分類ベンチマークにおいて、CLIPの平均エラー率を30.17%から25.06%に下げることを示した。
  論文  参考訳（メタデータ） (2023-08-04T18:11:40Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive Person Re-Identification [64.37745443119942]
  本稿では,局所的なワンホット分類とグローバルなマルチクラス分類を組み合わせることで,視覚的・時間的整合性を両立させる。 3つの大規模ReIDデータセットの実験結果は、教師なしと教師なしの両方のドメイン適応型ReIDタスクにおいて提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2020-07-21T14:31:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。