論文の概要: Text-only Synthesis for Image Captioning

• arxiv url: http://arxiv.org/abs/2405.18258v1
• Date: Tue, 28 May 2024 15:11:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 18:09:42.660893
• Title: Text-only Synthesis for Image Captioning
• Title（参考訳）: 画像キャプションのためのテキストのみの合成
• Authors: Qing Zhou, Junlin Huang, Qiang Li, Junyu Gao, Qi Wang,
• Abstract要約: 画像キャプション(ToCa)のためのテキストのみの合成法を提案する。 我々は字幕テキストを構造と語彙の単語に分解する。 様々な語彙のパターンを含む大量のキャプションが生成される。
• 参考スコア（独自算出の注目度）: 26.774411180980994
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: From paired image-text training to text-only training for image captioning, the pursuit of relaxing the requirements for high-cost and large-scale annotation of good quality data remains consistent. In this paper, we propose Text-only Synthesis for Image Captioning (ToCa), which further advances this relaxation with fewer human labor and less computing time. Specifically, we deconstruct caption text into structures and lexical words, which serve as the fundamental components of the caption. By combining different structures and lexical words as inputs to the large language model, massive captions that contain various patterns of lexical words are generated. This method not only approaches the target domain but also surpasses it by generating new captions, thereby enhancing the zero-shot generalization ability of the model. Considering the different levels of data access in the real world, we define three synthesis scenarios: cross-domain synthesis, in-domain synthesis, and data-efficient synthesis. Experiments in these scenarios demonstrate the generalizability, transferability and practicability of ToCa with a nearly 5 CIDEr improvement for zero-shot cross-domain captioning and a maximum increase of over 20 CIDEr for data-efficient captioning.
• Abstract（参考訳）: 画像キャプションのためのペア画像テキストトレーニングからテキストのみのトレーニングに至るまで、高品質で大規模な高品質なデータアノテーションの要求を緩和しようとする動きは一貫している。 本稿では,テキストのみによる画像キャプション(ToCa)を提案する。これにより,人間の労力を減らし,計算時間を短縮して,この緩和をさらに進めることができる。 具体的には、字幕テキストを構造と語彙の単語に分解し、字幕の基本的な構成要素として機能する。 大きな言語モデルへの入力として、異なる構造と語彙語を組み合わせることにより、様々な語彙のパターンを含む巨大なキャプションを生成する。 この手法は,対象領域にアプローチするだけでなく,新たなキャプションを生成することにより,モデルのゼロショット一般化能力を向上する。 実世界のデータアクセスのレベルが異なることを考慮し、クロスドメイン合成、インドメイン合成、データ効率合成の3つのシナリオを定義した。 これらのシナリオの実験では、ゼロショットクロスドメインキャプションの5CIDEr改善とデータ効率のよいキャプションの最大20CIDErの増加により、ToCaの一般化性、転送性、実行性を示す。

関連論文リスト

• CLIPS: An Enhanced CLIP Framework for Learning with Synthetic Captions [31.624782806591682]
  リッチに記述された合成キャプションをより効果的に活用するための2つのシンプルで効果的な設計を提案する。 まず,合成キャプションを用いた学習において,強い逆効果が観察される。 第二に、自己回帰キャプタを組み込んで、再カプセル化プロセスを模倣する。
  論文  参考訳（メタデータ） (2024-11-25T18:49:02Z)
• Revisit Large-Scale Image-Caption Data in Pre-training Multimodal Foundation Models [63.01630478059315]
  マルチモーダルモデルの最近の進歩は、性能向上のための書き直しキャプションの価値を強調している。 プレトレーニングにおける合成キャプションとオリジナルのWebcrawled AltTextsとの相互作用が、まだよく理解されていないかどうかは不明だ。 様々なマルチモーダルモデルに適した多様なキャプションフォーマットを生成するために,新しい,制御可能な,スケーラブルなキャプションパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-03T17:54:52Z)
• EXPRESSO: A Benchmark and Analysis of Discrete Expressive Speech Resynthesis [49.04496602282718]
  テキストなし音声合成のための高品質な表現型音声データセットであるExpressoを紹介する。 このデータセットは、26の自発的表現スタイルで描画された読み上げ音声と即興対話の両方を含む。 自己監督型離散エンコーダの自動計測値を用いて再生品質を評価する。
  論文  参考訳（メタデータ） (2023-08-10T17:41:19Z)
• Improving Multimodal Datasets with Image Captioning [65.74736570293622]
  生成したキャプションが非記述テキストによるWebスクラッピングデータポイントの有用性を高める方法について検討する。 DataComp の大規模字幕 (1.28B 画像テキストペア) を用いた実験により,合成テキストの限界について考察した。
  論文  参考訳（メタデータ） (2023-07-19T17:47:12Z)
• Improving Image Captioning Descriptiveness by Ranking and LLM-based Fusion [17.99150939602917]
  State-of-The-Art (SoTA)イメージキャプションモデルは、トレーニングのためにMicrosoft COCO(MS-COCO)データセットに依存することが多い。 本稿では,異なるSoTAモデルから生成されたキャプションを効果的に融合させる方法を示すことによって,従来の課題に対処する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-20T15:13:02Z)
• COSA: Concatenated Sample Pretrained Vision-Language Foundation Model [78.32081709802873]
  ほとんどの視覚言語基盤モデルは、事前トレーニングに画像テキストデータセットを使用している。 我々は,COncatenated SAmple pretrained vision- language foundation modelであるCOSAを提案する。 複数の画像テキストペアを事前学習用入力として逐次結合することで、これを実現する。 この変換により、既存の画像テキストコーパスを擬似長文ビデオパラグラフコーパスに変換する。
  論文  参考訳（メタデータ） (2023-06-15T12:29:42Z)
• Image Captioning with Multi-Context Synthetic Data [16.961112970612447]
  大規模なモデルは高品質な画像やテキストを作成するのに優れています。 マルチコンテキストデータ生成を導入した革新的なパイプラインを提案する。 我々のモデルは、このプロセスを通じて構築された合成画像テキストペアに特化して訓練されている。
  論文  参考訳（メタデータ） (2023-05-29T13:18:59Z)
• Injecting Semantic Concepts into End-to-End Image Captioning [61.41154537334627]
  本稿では、地域特徴を抽出することなくグリッド表現を使用する、純粋視覚変換器を用いた画像キャプションモデルViTCAPを提案する。 性能向上のために,意味論的概念を予測し,それをエンドツーエンドのキャプションに組み込む新しいコンセプトトークンネットワーク(CTN)を導入する。 特に、CTNは視覚変換器に基づいて構築され、分類タスクを通じて概念トークンを予測するように設計されている。
  論文  参考訳（メタデータ） (2021-12-09T22:05:05Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。