論文の概要: Semi-Supervised Image Captioning with CLIP
- arxiv url: http://arxiv.org/abs/2306.15111v1
- Date: Mon, 26 Jun 2023 23:29:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 15:20:29.499294
- Title: Semi-Supervised Image Captioning with CLIP
- Title（参考訳）: CLIPによる半スーパービジョン画像キャプション
- Authors: Chuanyang Jin
- Abstract要約: CLIPエンコーディングの可能性を生かした2段階の半教師付き画像キャプション手法を提案する。
我々のアプローチは、完全なデータセットでトレーニングされた最先端モデルに匹敵するパフォーマンスを提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image captioning, a fundamental task in vision-language understanding, seeks
to generate accurate natural language descriptions for provided images. The
CLIP model, with its rich semantic features learned from a large corpus of
image-text pairs, is well-suited for this task. In this paper, we present a
two-stage semi-supervised image captioning approach that exploits the potential
of CLIP encoding. Our model comprises a CLIP visual encoder, a mapping network,
and a language model for text generation. In the initial stage, we train the
model using a small labeled dataset by contrasting the generated captions with
the ground truth captions. In the subsequent stage, we continue the training
using unlabeled images, aiming to maximize the image-caption similarity based
on CLIP embeddings. Remarkably, despite utilizing less than 2% of the
COCO-captions, our approach delivers a performance comparable to
state-of-the-art models trained on the complete dataset. Furthermore, the
captions generated by our approach are more distinctive, informative, and in
line with human preference.
- Abstract（参考訳）: 視覚言語理解の基本課題である画像キャプションは、提供された画像に対して正確な自然言語記述を生成する。
CLIPモデルは、画像とテキストのペアの大きなコーパスから学んだリッチなセマンティック機能を備えており、このタスクに適しています。
本稿では,CLIPエンコーディングの可能性を利用した2段階半教師付き画像キャプション手法を提案する。
我々のモデルは、CLIPビジュアルエンコーダ、マッピングネットワーク、およびテキスト生成のための言語モデルからなる。
最初の段階では、生成されたキャプションと基底真理キャプションを対比して、小さなラベル付きデータセットを使ってモデルをトレーニングします。
続く段階では,クリップ埋め込みに基づく画像キャプチャの類似性を最大化するために,ラベルなし画像を用いたトレーニングを継続する。
注目すべきは、COCOカプセルの2%未満の利用にもかかわらず、私たちのアプローチは、完全なデータセットでトレーニングされた最先端モデルに匹敵するパフォーマンスを提供する。
さらに,提案手法が生成するキャプションは,より特徴的で,情報的であり,人間の好みと一致している。
関連論文リスト
- Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。
まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。
抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
論文 参考訳（メタデータ） (2024-05-30T05:53:49Z) - Augment the Pairs: Semantics-Preserving Image-Caption Pair Augmentation
for Grounding-Based Vision and Language Models [16.4010094165575]
テキスト条件付きおよびテキスト条件付きデータ拡張で訓練されたロバストな句接頭辞モデルを提案する。
近年のマスク信号再構成に着想を得て,新しいデータ拡張形式としてピクセルレベルのマスキングを提案する。
提案手法は,各種メトリクスを用いた最先端技術に対する高度な性能を示す。
論文 参考訳（メタデータ） (2023-11-05T01:14:02Z) - Visual Analytics for Efficient Image Exploration and User-Guided Image
Captioning [35.47078178526536]
事前訓練された大規模言語画像モデルの最近の進歩は、視覚的理解の新しい時代を後押ししている。
本稿では,視覚分析の領域でよく知られた2つの問題に取り組み,(1)大規模画像データセットの効率的な探索と潜在的なデータバイアスの同定,(2)画像キャプションの評価と生成過程のステアリングを行う。
論文 参考訳（メタデータ） (2023-11-02T06:21:35Z) - ASPIRE: Language-Guided Data Augmentation for Improving Robustness Against Spurious Correlations [43.323791505213634]
ASPIRE (Language-guided Data Augmentation for SPurious correlation Removal) は、スプリアスな特徴のない画像でトレーニングデータセットを補完するソリューションである。
トレーニングセットにグループラベルや既存の非スパースイメージを必要とせずに、非スパース画像を生成することができる。
先行手法の最悪のグループ分類精度を1%から38%向上させる。
論文 参考訳（メタデータ） (2023-08-19T20:18:15Z) - Semi-Supervised Image Captioning by Adversarially Propagating Labeled
Data [95.0476489266988]
本稿では、画像キャプションモデルの一般化を改善するための、新しいデータ効率半教師付きフレームワークを提案する。
提案手法は,キャプタにペアデータから学習し,段階的に未ペアデータの関連付けを行うよう訓練する。
1)画像ベースと(2)高密度領域ベースキャプションデータセットの両方を総合的かつ包括的な実験結果とし,それに続いて,少ないペアリングデータセットの包括的分析を行った。
論文 参考訳（メタデータ） (2023-01-26T15:25:43Z) - CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。
CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。
提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
論文 参考訳（メタデータ） (2021-11-30T07:29:08Z) - Generating More Pertinent Captions by Leveraging Semantics and Style on
Multi-Source Datasets [56.018551958004814]
本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。
ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。
本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
論文 参考訳（メタデータ） (2021-11-24T19:00:05Z) - Improving Image Captioning with Better Use of Captions [65.39641077768488]
本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。
我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。
生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
論文 参考訳（メタデータ） (2020-06-21T14:10:47Z) - Learning Representations by Predicting Bags of Visual Words [55.332200948110895]
自己教師付き表現学習ターゲットは、ラベルなしデータから畳み込みに基づく画像表現を学習する。
この分野におけるNLP手法の成功に触発された本研究では,空間的に高密度な画像記述に基づく自己教師型アプローチを提案する。
論文 参考訳（メタデータ） (2020-02-27T16:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。