論文の概要: Learning from Models and Data for Visual Grounding

• arxiv url: http://arxiv.org/abs/2403.13804v1
• Date: Wed, 20 Mar 2024 17:59:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-21 15:48:57.761960
• Title: Learning from Models and Data for Visual Grounding
• Title（参考訳）: 視覚的接地のためのモデルとデータからの学習
• Authors: Ruozhen He, Paola Cascante-Bonilla, Ziyan Yang, Alexander C. Berg, Vicente Ordonez,
• Abstract要約: データ駆動学習と様々な大規模事前学習モデルからの知識伝達を組み合わせたフレームワークであるSynGroundを紹介する。 マスク注意目的を最適化することにより、トレーニング済みの視覚・言語モデルをこのデータセット上に微調整する。 得られたモデルは、既成のビジョン・アンド・ランゲージモデルの接地能力を向上する。
• 参考スコア（独自算出の注目度）: 55.21937116752679
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce SynGround, a novel framework that combines data-driven learning and knowledge transfer from various large-scale pretrained models to enhance the visual grounding capabilities of a pretrained vision-and-language model. The knowledge transfer from the models initiates the generation of image descriptions through an image description generator. These descriptions serve dual purposes: they act as prompts for synthesizing images through a text-to-image generator, and as queries for synthesizing text, from which phrases are extracted using a large language model. Finally, we leverage an open-vocabulary object detector to generate synthetic bounding boxes for the synthetic images and texts. We finetune a pretrained vision-and-language model on this dataset by optimizing a mask-attention consistency objective that aligns region annotations with gradient-based model explanations. The resulting model improves the grounding capabilities of an off-the-shelf vision-and-language model. Particularly, SynGround improves the pointing game accuracy of ALBEF on the Flickr30k dataset from 79.38% to 87.26%, and on RefCOCO+ Test A from 69.35% to 79.06% and on RefCOCO+ Test B from 53.77% to 63.67%.
• Abstract（参考訳）: 我々は、様々な大規模事前学習モデルからデータ駆動学習と知識伝達を組み合わせて、事前学習された視覚・言語モデルの視覚的グラウンド機能を強化する新しいフレームワークであるSynGroundを紹介する。 モデルからの知識伝達は、画像記述生成器を介して画像記述の生成を開始する。 これらの記述は、テキスト・ツー・イメージ・ジェネレータを通じて画像を合成するためのプロンプトとして機能し、テキストを合成するためのクエリとして機能し、そこからフレーズを大きな言語モデルで抽出する。 最後に,オープンボキャブラリオブジェクト検出器を用いて合成画像とテキストの合成バウンディングボックスを生成する。 領域アノテーションと勾配に基づくモデル説明とを整合させるマスク・アテンション整合性目標を最適化することにより、このデータセット上で事前訓練された視覚・言語モデルを微調整する。 得られたモデルは、既成のビジョン・アンド・ランゲージモデルの接地能力を向上する。 特にSynGroundは、Flickr30kデータセット上のALBEFのポインティングゲーム精度を79.38%から87.26%に改善し、RefCOCO+テストAでは69.35%から79.06%に、RefCO+テストBでは53.77%から63.67%に改善した。

関連論文リスト

• Scaling Laws of Synthetic Data for Language Models [132.67350443447611]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• RealSyn: An Effective and Scalable Multimodal Interleaved Document Transformation Paradigm [34.02250139766494]
  Contrastive Language-Image Pre-Training (CLIP)は、様々なベンチマークで有望なパフォーマンスを示す。 マルチモーダルなインターリーブド文書のかなりの量は、コントラッシブな視覚言語表現学習に使われていない。 高品質な画像やテキストを抽出するリアルタイムデータ抽出パイプラインを構築した。 そして,各画像と複数の意味的関連現実的テキストを効率的に関連付ける階層的検索手法を設計する。 リアルテキストと合成テキストを組み合わせたデータセットであるRealSynを構築し,15M,30M,100Mの3つのスケールで利用可能である。
  論文  参考訳（メタデータ） (2025-02-18T03:58:38Z)
• FIDAVL: Fake Image Detection and Attribution using Vision-Language Model [14.448350657613368]
  FIDAVLは、視覚と言語処理の相乗効果に触発された、新規で効率的なマルチタスクアプローチである。 視覚と言語間の相補性と、偽画像を検出するソフトなプロンプトチューニング戦略を利用する。 FIDAVLの平均検出精度は95.42%、F1スコアは95.47%である。
  論文  参考訳（メタデータ） (2024-08-22T15:41:56Z)
• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
  ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。 合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。 提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
  論文  参考訳（メタデータ） (2024-03-28T22:25:05Z)
• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• Synth$^2$: Boosting Visual-Language Models with Synthetic Captions and Image Embeddings [16.28853186016663]
  効率的な視覚言語モデル(VLM)トレーニングのための合成画像テキストペアを作成する。 本手法では,LLMが生成したキャプションから画像埋め込みを合成するために,事前訓練されたテキスト・ツー・イメージモデルを用いる。 我々のVLMは、人工的なデータに基づいて微調整され、人間に注釈付けされたデータにのみ訓練されたモデルに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2024-03-12T15:36:42Z)
• Pushing Boundaries: Exploring Zero Shot Object Classification with Large Multimodal Models [0.09264362806173355]
  LLVA(Large Language and Vision Assistant Model)は、画像ベースのクエリと連動したリッチな会話体験をユーザに提供するモデルである。 本稿では,LMMについて一意に考察し,画像分類タスクの適応性について検討する。 我々の研究では、MNIST、Cats Vs. Dogs、Hymnoptera(Ants Vs. Bees)、Pox Vs. Non-Poxの皮膚画像からなる非伝統的なデータセットの4つの多様なデータセットのベンチマーク分析を含む。
  論文  参考訳（メタデータ） (2023-12-30T03:19:54Z)
• A Picture is Worth a Thousand Words: Principled Recaptioning Improves Image Generation [9.552642210681489]
  コーパスを特別な自動キャプションモデルで再現し、再カプセル化データセット上でテキスト・ツー・イメージモデルを訓練することにより、モデルがボード全体に大きなメリットをもたらすことを示す。 我々は、コーパスを緩和する様々な方法を分析し、この手法がRECAPと呼ばれ、どちらも列車の干渉の相違を低減し、例ごとにより多くの情報を提供するという証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-25T14:10:08Z)
• Image Captions are Natural Prompts for Text-to-Image Models [70.30915140413383]
  本研究では,合成データの学習効果とプロンプトによる合成データ分布の関係を解析した。 本稿では,テキストから画像への生成モデルにより,より情報的で多様な学習データを合成する簡易かつ効果的な手法を提案する。 本手法は,合成学習データに基づいて訓練したモデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-07-17T14:38:11Z)
• Domain Adaptation of Synthetic Driving Datasets for Real-World Autonomous Driving [0.11470070927586014]
  特定のコンピュータビジョンタスクのための合成データで訓練されたネットワークは、実世界のデータでテストすると大幅に劣化する。 本稿では,このような手法を改良するための新しい手法を提案し,評価する。 本稿では,このペア選択にセマンティック・インスペクションを効果的に組み込む手法を提案し,モデルの性能向上に寄与する。
  論文  参考訳（メタデータ） (2023-02-08T15:51:54Z)
• Lafite2: Few-shot Text-to-Image Generation [132.14211027057766]
  本稿では,画像のみのデータセットを用いたテキスト・画像生成モデルの事前学習手法を提案する。 擬似テキスト特徴を合成する検索テーマ最適化手法を検討する。 これは、数ショット、半教師あり、完全に教師された学習など、幅広い設定で有益である。
  論文  参考訳（メタデータ） (2022-10-25T16:22:23Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding [53.170767750244366]
  Imagenは、前例のないフォトリアリズムと深い言語理解を備えたテキスト間拡散モデルである。 テキスト・ツー・イメージ・モデルをより深く評価するために,テキスト・ツー・イメージ・モデルの総合的かつ挑戦的なベンチマークであるDrawBenchを紹介した。
  論文  参考訳（メタデータ） (2022-05-23T17:42:53Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• CrossLoc: Scalable Aerial Localization Assisted by Multimodal Synthetic Data [2.554905387213586]
  本稿では,合成データを用いて実世界のカメラポーズを推定する視覚的位置決めシステムを提案する。 データ不足を緩和するために,汎用な合成データ生成ツールTOPO-DataGenを導入する。 また、ポーズ推定のためのクロスモーダル視覚表現学習手法であるCrossLocを導入する。
  論文  参考訳（メタデータ） (2021-12-16T18:05:48Z)
• Synthetic Data and Hierarchical Object Detection in Overhead Imagery [0.0]
  衛星画像における低・ゼロサンプル学習を向上させるための新しい合成データ生成および拡張技術を開発した。 合成画像の有効性を検証するために,検出モデルと2段階モデルの訓練を行い,実際の衛星画像上で得られたモデルを評価する。
  論文  参考訳（メタデータ） (2021-01-29T22:52:47Z)
• PennSyn2Real: Training Object Recognition Models without Human Labeling [12.923677573437699]
  我々はPennSyn2Realを提案する。20種類以上のマイクロエアロビー(MAV)の10万以上の4K画像からなる合成データセットである。 このデータセットは、MAV検出や分類などのハイレベルコンピュータビジョンタスクのための任意の数のトレーニングイメージを生成するために使用することができる。 このフレームワークを用いて生成された合成データは,検出やセグメンテーションといった一般的なオブジェクト認識タスクに対して,CNNモデルをトレーニングするために直接利用できることを示す。
  論文  参考訳（メタデータ） (2020-09-22T02:53:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。