論文の概要: Learning from Models and Data for Visual Grounding

• arxiv url: http://arxiv.org/abs/2403.13804v1
• Date: Wed, 20 Mar 2024 17:59:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 15:48:57.761960
• Title: Learning from Models and Data for Visual Grounding
• Title（参考訳）: 視覚的接地のためのモデルとデータからの学習
• Authors: Ruozhen He, Paola Cascante-Bonilla, Ziyan Yang, Alexander C. Berg, Vicente Ordonez,
• Abstract要約: データ駆動学習と様々な大規模事前学習モデルからの知識伝達を組み合わせたフレームワークであるSynGroundを紹介する。 マスク注意目的を最適化することにより、トレーニング済みの視覚・言語モデルをこのデータセット上に微調整する。 得られたモデルは、既成のビジョン・アンド・ランゲージモデルの接地能力を向上する。
• 参考スコア（独自算出の注目度）: 55.21937116752679
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce SynGround, a novel framework that combines data-driven learning and knowledge transfer from various large-scale pretrained models to enhance the visual grounding capabilities of a pretrained vision-and-language model. The knowledge transfer from the models initiates the generation of image descriptions through an image description generator. These descriptions serve dual purposes: they act as prompts for synthesizing images through a text-to-image generator, and as queries for synthesizing text, from which phrases are extracted using a large language model. Finally, we leverage an open-vocabulary object detector to generate synthetic bounding boxes for the synthetic images and texts. We finetune a pretrained vision-and-language model on this dataset by optimizing a mask-attention consistency objective that aligns region annotations with gradient-based model explanations. The resulting model improves the grounding capabilities of an off-the-shelf vision-and-language model. Particularly, SynGround improves the pointing game accuracy of ALBEF on the Flickr30k dataset from 79.38% to 87.26%, and on RefCOCO+ Test A from 69.35% to 79.06% and on RefCOCO+ Test B from 53.77% to 63.67%.
• Abstract（参考訳）: 我々は、様々な大規模事前学習モデルからデータ駆動学習と知識伝達を組み合わせて、事前学習された視覚・言語モデルの視覚的グラウンド機能を強化する新しいフレームワークであるSynGroundを紹介する。 モデルからの知識伝達は、画像記述生成器を介して画像記述の生成を開始する。 これらの記述は、テキスト・ツー・イメージ・ジェネレータを通じて画像を合成するためのプロンプトとして機能し、テキストを合成するためのクエリとして機能し、そこからフレーズを大きな言語モデルで抽出する。 最後に,オープンボキャブラリオブジェクト検出器を用いて合成画像とテキストの合成バウンディングボックスを生成する。 領域アノテーションと勾配に基づくモデル説明とを整合させるマスク・アテンション整合性目標を最適化することにより、このデータセット上で事前訓練された視覚・言語モデルを微調整する。 得られたモデルは、既成のビジョン・アンド・ランゲージモデルの接地能力を向上する。 特にSynGroundは、Flickr30kデータセット上のALBEFのポインティングゲーム精度を79.38%から87.26%に改善し、RefCOCO+テストAでは69.35%から79.06%に、RefCO+テストBでは53.77%から63.67%に改善した。

関連論文リスト

• FIDAVL: Fake Image Detection and Attribution using Vision-Language Model [14.448350657613368]
  FIDAVLは、視覚と言語処理の相乗効果に触発された、新規で効率的なマルチタスクアプローチである。 視覚と言語間の相補性と、偽画像を検出するソフトなプロンプトチューニング戦略を利用する。 FIDAVLの平均検出精度は95.42%、F1スコアは95.47%である。
  論文  参考訳（メタデータ） (2024-08-22T15:41:56Z)
• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• Synth$^2$: Boosting Visual-Language Models with Synthetic Captions and Image Embeddings [16.28853186016663]
  効率的な視覚言語モデル(VLM)トレーニングのための合成画像テキストペアを作成する。 本手法では,LLMが生成したキャプションから画像埋め込みを合成するために,事前訓練されたテキスト・ツー・イメージモデルを用いる。 我々のVLMは、人工的なデータに基づいて微調整され、人間に注釈付けされたデータにのみ訓練されたモデルに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2024-03-12T15:36:42Z)
• Pushing Boundaries: Exploring Zero Shot Object Classification with Large Multimodal Models [0.09264362806173355]
  LLVA(Large Language and Vision Assistant Model)は、画像ベースのクエリと連動したリッチな会話体験をユーザに提供するモデルである。 本稿では,LMMについて一意に考察し,画像分類タスクの適応性について検討する。 我々の研究では、MNIST、Cats Vs. Dogs、Hymnoptera(Ants Vs. Bees)、Pox Vs. Non-Poxの皮膚画像からなる非伝統的なデータセットの4つの多様なデータセットのベンチマーク分析を含む。
  論文  参考訳（メタデータ） (2023-12-30T03:19:54Z)
• A Picture is Worth a Thousand Words: Principled Recaptioning Improves Image Generation [9.552642210681489]
  コーパスを特別な自動キャプションモデルで再現し、再カプセル化データセット上でテキスト・ツー・イメージモデルを訓練することにより、モデルがボード全体に大きなメリットをもたらすことを示す。 我々は、コーパスを緩和する様々な方法を分析し、この手法がRECAPと呼ばれ、どちらも列車の干渉の相違を低減し、例ごとにより多くの情報を提供するという証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-25T14:10:08Z)
• Image Captions are Natural Prompts for Text-to-Image Models [70.30915140413383]
  本研究では,合成データの学習効果とプロンプトによる合成データ分布の関係を解析した。 本稿では,テキストから画像への生成モデルにより,より情報的で多様な学習データを合成する簡易かつ効果的な手法を提案する。 本手法は,合成学習データに基づいて訓練したモデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-07-17T14:38:11Z)
• Lafite2: Few-shot Text-to-Image Generation [132.14211027057766]
  本稿では,画像のみのデータセットを用いたテキスト・画像生成モデルの事前学習手法を提案する。 擬似テキスト特徴を合成する検索テーマ最適化手法を検討する。 これは、数ショット、半教師あり、完全に教師された学習など、幅広い設定で有益である。
  論文  参考訳（メタデータ） (2022-10-25T16:22:23Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding [53.170767750244366]
  Imagenは、前例のないフォトリアリズムと深い言語理解を備えたテキスト間拡散モデルである。 テキスト・ツー・イメージ・モデルをより深く評価するために,テキスト・ツー・イメージ・モデルの総合的かつ挑戦的なベンチマークであるDrawBenchを紹介した。
  論文  参考訳（メタデータ） (2022-05-23T17:42:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。