Fugu-MT 論文翻訳(概要): Going Beyond Nouns With Vision & Language Models Using Synthetic Data

論文の概要: Going Beyond Nouns With Vision & Language Models Using Synthetic Data

arxiv url: http://arxiv.org/abs/2303.17590v2
Date: Wed, 30 Aug 2023 17:46:17 GMT
ステータス: 処理完了
システム内更新日: 2023-08-31 17:23:00.023431
Title: Going Beyond Nouns With Vision & Language Models Using Synthetic Data
Title（参考訳）: 合成データを用いたビジョンと言語モデルによる名詞を超えて
Authors: Paola Cascante-Bonilla, Khaled Shehada, James Seale Smith, Sivan Doveh, Donghyun Kim, Rameswar Panda, G\"ul Varol, Aude Oliva, Vicente Ordonez, Rogerio Feris, Leonid Karlinsky
Abstract要約: 大規模な事前学習型ビジョン・アンド・ランゲージ(VL)モデルは、多くのアプリケーションで顕著な性能を示している。最近の研究でこれらのモデルの根本的な弱点が明らかになった。このような欠点を克服するためのモデルを教えるために、純粋に合成されたデータがどの程度活用できるかを調査する。
参考スコア（独自算出の注目度）: 43.87754926411406
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large-scale pre-trained Vision & Language (VL) models have shown remarkable performance in many applications, enabling replacing a fixed set of supported classes with zero-shot open vocabulary reasoning over (almost arbitrary) natural language prompts. However, recent works have uncovered a fundamental weakness of these models. For example, their difficulty to understand Visual Language Concepts (VLC) that go 'beyond nouns' such as the meaning of non-object words (e.g., attributes, actions, relations, states, etc.), or difficulty in performing compositional reasoning such as understanding the significance of the order of the words in a sentence. In this work, we investigate to which extent purely synthetic data could be leveraged to teach these models to overcome such shortcomings without compromising their zero-shot capabilities. We contribute Synthetic Visual Concepts (SyViC) - a million-scale synthetic dataset and data generation codebase allowing to generate additional suitable data to improve VLC understanding and compositional reasoning of VL models. Additionally, we propose a general VL finetuning strategy for effectively leveraging SyViC towards achieving these improvements. Our extensive experiments and ablations on VL-Checklist, Winoground, and ARO benchmarks demonstrate that it is possible to adapt strong pre-trained VL models with synthetic data significantly enhancing their VLC understanding (e.g. by 9.9% on ARO and 4.3% on VL-Checklist) with under 1% drop in their zero-shot accuracy.
Abstract（参考訳）: 大規模な事前学習されたvision & language(vl)モデルは、多くのアプリケーションで顕著なパフォーマンスを示しており、サポート対象クラスの固定セットを(ほぼ任意の)自然言語プロンプトに対するゼロショットのオープンボキャブラリ推論に置き換えることができる。しかし、最近の研究でこれらのモデルの根本的な弱点が明らかになった。例えば、非対象語の意味(属性、行動、関係、状態など)のような「名詞を超えて」行く視覚言語概念(vlc)を理解することの難しさや、文中の単語の順序の重要性を理解するといった構成的推論を行うことの難しさなどである。本研究では,これらのモデルに対して,ゼロショット能力を損なうことなく,純粋に合成データをどの程度活用できるかを検討する。合成視覚概念(SyViC) - 百万規模の合成データセットとデータ生成コードベースで、VLモデルのVLC理解と合成推論を改善するために、追加の適切なデータを生成する。また、SyViCを効果的に活用してこれらの改善を実現するための一般的なVL微調整戦略を提案する。 VL-Checklist, Winoground, AROベンチマークの広範な実験と改善により, ゼロショット精度が1%以下で, 合成データによりVLC理解を著しく向上させることができる(AROでは9.9%, VL-Checklistでは4.3%)。

論文の概要: Going Beyond Nouns With Vision & Language Models Using Synthetic Data

関連論文リスト