論文の概要: Learning from Models and Data for Visual Grounding

• arxiv url: http://arxiv.org/abs/2403.13804v1
• Date: Wed, 20 Mar 2024 17:59:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 15:48:57.761960
• Title: Learning from Models and Data for Visual Grounding
• Title（参考訳）: 視覚的接地のためのモデルとデータからの学習
• Authors: Ruozhen He, Paola Cascante-Bonilla, Ziyan Yang, Alexander C. Berg, Vicente Ordonez,
• Abstract要約: データ駆動学習と様々な大規模事前学習モデルからの知識伝達を組み合わせたフレームワークであるSynGroundを紹介する。 マスク注意目的を最適化することにより、トレーニング済みの視覚・言語モデルをこのデータセット上に微調整する。 得られたモデルは、既成のビジョン・アンド・ランゲージモデルの接地能力を向上する。
• 参考スコア（独自算出の注目度）: 55.21937116752679
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce SynGround, a novel framework that combines data-driven learning and knowledge transfer from various large-scale pretrained models to enhance the visual grounding capabilities of a pretrained vision-and-language model. The knowledge transfer from the models initiates the generation of image descriptions through an image description generator. These descriptions serve dual purposes: they act as prompts for synthesizing images through a text-to-image generator, and as queries for synthesizing text, from which phrases are extracted using a large language model. Finally, we leverage an open-vocabulary object detector to generate synthetic bounding boxes for the synthetic images and texts. We finetune a pretrained vision-and-language model on this dataset by optimizing a mask-attention consistency objective that aligns region annotations with gradient-based model explanations. The resulting model improves the grounding capabilities of an off-the-shelf vision-and-language model. Particularly, SynGround improves the pointing game accuracy of ALBEF on the Flickr30k dataset from 79.38% to 87.26%, and on RefCOCO+ Test A from 69.35% to 79.06% and on RefCOCO+ Test B from 53.77% to 63.67%.
• Abstract（参考訳）: 我々は、様々な大規模事前学習モデルからデータ駆動学習と知識伝達を組み合わせて、事前学習された視覚・言語モデルの視覚的グラウンド機能を強化する新しいフレームワークであるSynGroundを紹介する。 モデルからの知識伝達は、画像記述生成器を介して画像記述の生成を開始する。 これらの記述は、テキスト・ツー・イメージ・ジェネレータを通じて画像を合成するためのプロンプトとして機能し、テキストを合成するためのクエリとして機能し、そこからフレーズを大きな言語モデルで抽出する。 最後に,オープンボキャブラリオブジェクト検出器を用いて合成画像とテキストの合成バウンディングボックスを生成する。 領域アノテーションと勾配に基づくモデル説明とを整合させるマスク・アテンション整合性目標を最適化することにより、このデータセット上で事前訓練された視覚・言語モデルを微調整する。 得られたモデルは、既成のビジョン・アンド・ランゲージモデルの接地能力を向上する。 特にSynGroundは、Flickr30kデータセット上のALBEFのポインティングゲーム精度を79.38%から87.26%に改善し、RefCOCO+テストAでは69.35%から79.06%に、RefCO+テストBでは53.77%から63.67%に改善した。

関連論文リスト

• RealSyn: An Effective and Scalable Multimodal Interleaved Document Transformation Paradigm [34.02250139766494]
  マルチモーダルなインターリーブド文書など、ペアリングされていない膨大な量のデータが、視覚言語表現学習に使われていない。 高品質な画像やテキストを抽出するリアルタイムデータ抽出パイプラインを構築した。 そして,各画像と複数の意味的関連現実的テキストを効率的に関連付ける階層的検索手法を設計する。 リアルテキストと合成テキストを組み合わせたデータセットであるRealSynを3つのスケールで構築する。
  論文  参考訳（メタデータ） (2025-02-18T03:58:38Z)
• Improving Object Detection by Modifying Synthetic Data with Explainable AI [3.0519884745675485]
  本稿では,合成画像に基づいて学習したコンピュータビジョンモデルの性能向上のための新しい概念的アプローチを提案する。 我々は、堅牢な説明可能なAI(XAI)技術を用いて、これらの画像を生成するために使用される3Dモデルの修正をガイドする。 合成データは、トレーニング中に見えない方向の車両の検出を4.6%改善できることを示す。
  論文  参考訳（メタデータ） (2024-12-02T13:24:43Z)
• Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
  ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。 合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。 提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
  論文  参考訳（メタデータ） (2024-03-28T22:25:05Z)
• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• Domain Adaptation of Synthetic Driving Datasets for Real-World Autonomous Driving [0.11470070927586014]
  特定のコンピュータビジョンタスクのための合成データで訓練されたネットワークは、実世界のデータでテストすると大幅に劣化する。 本稿では,このような手法を改良するための新しい手法を提案し,評価する。 本稿では,このペア選択にセマンティック・インスペクションを効果的に組み込む手法を提案し,モデルの性能向上に寄与する。
  論文  参考訳（メタデータ） (2023-02-08T15:51:54Z)
• Is synthetic data from generative models ready for image recognition? [69.42645602062024]
  本研究では,最新のテキスト・画像生成モデルから生成した合成画像が,画像認識タスクにどのように利用できるかを検討した。 本稿では,既存の生成モデルからの合成データの強大さと欠点を示し,認識タスクに合成データを適用するための戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-14T06:54:24Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• CrossLoc: Scalable Aerial Localization Assisted by Multimodal Synthetic Data [2.554905387213586]
  本稿では,合成データを用いて実世界のカメラポーズを推定する視覚的位置決めシステムを提案する。 データ不足を緩和するために,汎用な合成データ生成ツールTOPO-DataGenを導入する。 また、ポーズ推定のためのクロスモーダル視覚表現学習手法であるCrossLocを導入する。
  論文  参考訳（メタデータ） (2021-12-16T18:05:48Z)
• Synthetic Data and Hierarchical Object Detection in Overhead Imagery [0.0]
  衛星画像における低・ゼロサンプル学習を向上させるための新しい合成データ生成および拡張技術を開発した。 合成画像の有効性を検証するために,検出モデルと2段階モデルの訓練を行い,実際の衛星画像上で得られたモデルを評価する。
  論文  参考訳（メタデータ） (2021-01-29T22:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。