論文の概要: BLIP3-KALE: Knowledge Augmented Large-Scale Dense Captions

• arxiv url: http://arxiv.org/abs/2411.07461v1
• Date: Tue, 12 Nov 2024 00:52:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:18:32.219844
• Title: BLIP3-KALE: Knowledge Augmented Large-Scale Dense Captions
• Title（参考訳）: BLIP3-KALE: 知識に富んだ大規模キャプション
• Authors: Anas Awadalla, Le Xue, Manli Shu, An Yan, Jun Wang, Senthil Purushwalkam, Sheng Shen, Hannah Lee, Oscar Lo, Jae Sung Park, Etash Guha, Silvio Savarese, Ludwig Schmidt, Yejin Choi, Caiming Xiong, Ran Xu,
• Abstract要約: BLIP3-KALEは2億1800万の画像テキストペアからなるデータセットである。 KALEは、合成高密度画像キャプションをWebスケールのalt-textで拡張し、事実上接地された画像キャプションを生成する。 我々は、KALE上で視覚言語モデルを訓練し、視覚言語タスクの改善を示す。
• 参考スコア（独自算出の注目度）: 118.35194230865451
• License:
• Abstract: We introduce BLIP3-KALE, a dataset of 218 million image-text pairs that bridges the gap between descriptive synthetic captions and factual web-scale alt-text. KALE augments synthetic dense image captions with web-scale alt-text to generate factually grounded image captions. Our two-stage approach leverages large vision-language models and language models to create knowledge-augmented captions, which are then used to train a specialized VLM for scaling up the dataset. We train vision-language models on KALE and demonstrate improvements on vision-language tasks. Our experiments show the utility of KALE for training more capable and knowledgeable multimodal models. We release the KALE dataset at https://huggingface.co/datasets/Salesforce/blip3-kale
• Abstract（参考訳）: BLIP3-KALEは2億1800万の画像テキストペアのデータセットで、記述的な合成キャプションと実際のウェブスケールのアルトテキストのギャップを埋める。 KALEは、合成高密度画像キャプションをWebスケールのalt-textで拡張し、事実上接地された画像キャプションを生成する。 当社の2段階のアプローチでは、大規模な視覚言語モデルと言語モデルを活用して、知識を付加したキャプションを生成し、データセットをスケールアップするための専門的なVLMのトレーニングに使用しています。 我々は、KALE上で視覚言語モデルを訓練し、視覚言語タスクの改善を示す。 実験により,より有能で知識に富んだマルチモーダルモデルを訓練するためのKALEの有用性が示された。 KALEデータセットはhttps://huggingface.co/datasets/Salesforce/blip3-kaleで公開しています。

関連論文リスト

• Retrieval Enhanced Zero-Shot Video Captioning [69.96136689829778]
  一般的な映像理解モデルXCLIP,一般画像理解モデルCLIP,テキスト生成モデルGPT-2の3つの主要なモデルを用いて映像とテキストをブリッジする。 そこで本研究では,凍結したGPT-2と凍結したXCLIPとの間の通信媒体として,学習可能なトークンを提案する。 実験では、従来の最先端の手法と比較して、主要な測定基準であるCIDErが4%から20%改善されている。
  論文  参考訳（メタデータ） (2024-05-11T16:22:00Z)
• Visual Fact Checker: Enabling High-Fidelity Detailed Caption Generation [34.45033554641476]
  視覚的コンテンツの自動キャプション手法は、詳細の欠如、幻覚内容の欠如、後続の指示不足などの課題に直面している。 フレキシブルなトレーニングフリーパイプラインであるVisualFactChecker(VFC)を提案し、2次元画像と3次元オブジェクトの両方に対して高忠実かつ詳細なキャプションを生成する。 VFCは、1)画像からテキストへのキャプションモデルが複数の初期キャプションを提案する提案、2)大規模言語モデル(LLM)がオブジェクト検出やVQAモデルなどのツールを使用して提案されたキャプションをファクトチェックする検証の3段階で構成されている。
  論文  参考訳（メタデータ） (2024-04-30T17:55:27Z)
• Augment the Pairs: Semantics-Preserving Image-Caption Pair Augmentation for Grounding-Based Vision and Language Models [16.4010094165575]
  テキスト条件付きおよびテキスト条件付きデータ拡張で訓練されたロバストな句接頭辞モデルを提案する。 近年のマスク信号再構成に着想を得て,新しいデータ拡張形式としてピクセルレベルのマスキングを提案する。 提案手法は,各種メトリクスを用いた最先端技術に対する高度な性能を示す。
  論文  参考訳（メタデータ） (2023-11-05T01:14:02Z)
• Towards Practical and Efficient Image-to-Speech Captioning with Vision-Language Pre-training and Multi-modal Tokens [87.52235889917223]
  我々は、提案したIm2Spの出力を離散化音声単位、すなわち自己教師付き音声モデルの定量化音声特徴として設定した。 ビジョン言語による事前学習戦略により、広く使われている2つのベンチマークデータベース上で、最先端のIm2Spのパフォーマンスを新たに設定した。
  論文  参考訳（メタデータ） (2023-09-15T16:48:34Z)
• Improving Multimodal Datasets with Image Captioning [65.74736570293622]
  生成したキャプションが非記述テキストによるWebスクラッピングデータポイントの有用性を高める方法について検討する。 DataComp の大規模字幕 (1.28B 画像テキストペア) を用いた実験により,合成テキストの限界について考察した。
  論文  参考訳（メタデータ） (2023-07-19T17:47:12Z)
• Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding [53.170767750244366]
  Imagenは、前例のないフォトリアリズムと深い言語理解を備えたテキスト間拡散モデルである。 テキスト・ツー・イメージ・モデルをより深く評価するために,テキスト・ツー・イメージ・モデルの総合的かつ挑戦的なベンチマークであるDrawBenchを紹介した。
  論文  参考訳（メタデータ） (2022-05-23T17:42:53Z)
• Align before Fuse: Vision and Language Representation Learning with Momentum Distillation [52.40490994871753]
  本稿では,ALBEF (BEfore Fusing) の表現に対して,モーダルな注意を通したコントラスト的損失を導入する。 本研究では,運動量モデルで生成した擬似ターゲットから学習する自己学習法である運動量蒸留を提案する。 ALBEFは、複数の下流視覚言語タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-07-16T00:19:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。