Fugu-MT 論文翻訳(概要): Weak-to-Strong Compositional Learning from Generative Models for Language-based Object Detection

論文の概要: Weak-to-Strong Compositional Learning from Generative Models for Language-based Object Detection

arxiv url: http://arxiv.org/abs/2407.15296v1
Date: Sun, 21 Jul 2024 23:43:24 GMT
ステータス: 処理完了
システム内更新日: 2024-07-23 16:30:24.200896
Title: Weak-to-Strong Compositional Learning from Generative Models for Language-based Object Detection
Title（参考訳）: 言語に基づく物体検出のための生成モデルからの弱音合成学習
Authors: Kwanyong Park, Kuniaki Saito, Donghyun Kim,
Abstract要約: 本稿では,言語に基づく物体検出において,視覚言語モデル(VL)の構成的理解を高める新しい手法を提案する。我々のフレームワークは、画像ドメインとテキストドメインの両方で、密にペア化された正と負の三つ子(画像、テキスト記述、バウンディングボックス)を生成する。本稿では,合成三重項の複雑な記述における意味や構造を発見するための,新しいコントラスト学習形式を提案する。
参考スコア（独自算出の注目度）: 19.610781457283966
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vision-language (VL) models often exhibit a limited understanding of complex expressions of visual objects (e.g., attributes, shapes, and their relations), given complex and diverse language queries. Traditional approaches attempt to improve VL models using hard negative synthetic text, but their effectiveness is limited. In this paper, we harness the exceptional compositional understanding capabilities of generative foundational models. We introduce a novel method for structured synthetic data generation aimed at enhancing the compositional understanding of VL models in language-based object detection. Our framework generates densely paired positive and negative triplets (image, text descriptions, and bounding boxes) in both image and text domains. By leveraging these synthetic triplets, we transform 'weaker' VL models into 'stronger' models in terms of compositional understanding, a process we call "Weak-to-Strong Compositional Learning" (WSCL). To achieve this, we propose a new compositional contrastive learning formulation that discovers semantics and structures in complex descriptions from synthetic triplets. As a result, VL models trained with our synthetic data generation exhibit a significant performance boost in the Omnilabel benchmark by up to +5AP and the D3 benchmark by +6.9AP upon existing baselines.
Abstract（参考訳）: 視覚言語(VL)モデルは、複雑で多様な言語クエリを与えられた視覚オブジェクト(例えば、属性、形状、およびそれらの関係)の複雑な表現の限定的な理解を示すことが多い。従来の手法は、強陰性合成テキストを用いたVLモデルの改善を試みるが、その効果は限られている。本稿では,生成基礎モデルの特異な構成理解能力を利用する。本稿では,言語に基づくオブジェクト検出におけるVLモデルの合成理解の向上を目的とした,構造化された合成データ生成手法を提案する。我々のフレームワークは、画像ドメインとテキストドメインの両方で、密にペア化された正と負の三つ子(画像、テキスト記述、バウンディングボックス)を生成する。これらの合成三重項を利用して、我々はVLモデルを構成的理解の観点から'Weaker'VLモデルを'stronger'モデルに変換し、これを"Weak-to-Strong compositional Learning"(WSCL)と呼ぶ。そこで本研究では,合成三重項からの複雑な記述における意味や構造を発見するための,新しいコントラスト学習形式を提案する。その結果、我々の合成データ生成で訓練されたVLモデルは、Omnilabelベンチマークで+5AP、D3ベンチマークで+6.9AP、既存のベースラインで+6.9APの大幅な性能向上を示した。

関連論文リスト

IterComp: Iterative Composition-Aware Feedback Learning from Model Gallery for Text-to-Image Generation [70.8833857249951]
IterCompは、複数のモデルから合成対応モデルの好みを集約する新しいフレームワークである。クローズドループ方式で構成性を向上する反復的フィードバック学習法を提案する。 IterCompは、拡散モデルと合成生成のための報酬フィードバック学習の新たな研究の道を開く。
論文参考訳（メタデータ） (2024-10-09T17:59:13Z)
Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文参考訳（メタデータ） (2024-05-10T17:11:31Z)
3VL: using Trees to teach Vision & Language models compositional concepts [45.718319397947056]
本稿では,Tree-augmented Vision-Language (3VL)モデルアーキテクチャとトレーニング手法を紹介する。テキスト統一のための単純な手法であるAnchorが、ニュアンス要素をフィルタするためにどのように使用できるかを示す。また、VLMマップ間の差分関連性比較を行うDiReにより、モデルの成功や失敗の説得力のある可視化を生成できることを示す。
論文参考訳（メタデータ） (2023-12-28T20:26:03Z)
Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
論文参考訳（メタデータ） (2023-10-17T03:21:43Z)
Going Beyond Nouns With Vision & Language Models Using Synthetic Data [43.87754926411406]
大規模な事前学習型ビジョン・アンド・ランゲージ(VL)モデルは、多くのアプリケーションで顕著な性能を示している。最近の研究でこれらのモデルの根本的な弱点が明らかになった。このような欠点を克服するためのモデルを教えるために、純粋に合成されたデータがどの程度活用できるかを調査する。
論文参考訳（メタデータ） (2023-03-30T17:57:43Z)
Model Criticism for Long-Form Text Generation [113.13900836015122]
我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
論文参考訳（メタデータ） (2022-10-16T04:35:58Z)
Improving Compositional Generalization with Self-Training for Data-to-Text Generation [36.973617793800315]
データ・テキスト・タスクにおける現在の生成モデルの合成一般化について検討する。構成的気象データセットの構造変化をシミュレートすることにより、T5モデルは目に見えない構造に一般化できないことを示す。擬似応答選択のための細調整BLEURTを用いた自己学習に基づく手法を提案する。
論文参考訳（メタデータ） (2021-10-16T04:26:56Z)
e-ViL: A Dataset and Benchmark for Natural Language Explanations in Vision-Language Tasks [52.918087305406296]
説明可能な視覚言語タスクを評価するベンチマークe-ViLを紹介します。また、NLEで最大のデータセットであるe-SNLI-VEについても紹介する。画像とテキストの共同埋め込みを学習するUNITERと、予め訓練された言語モデルであるGPT-2を組み合わせた新しいモデルを提案する。
論文参考訳（メタデータ） (2021-05-08T18:46:33Z)
Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文参考訳（メタデータ） (2020-12-18T15:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。