論文の概要: ColorSwap: A Color and Word Order Dataset for Multimodal Evaluation
- arxiv url: http://arxiv.org/abs/2402.04492v2
- Date: Tue, 6 Aug 2024 17:31:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 19:22:06.497939
- Title: ColorSwap: A Color and Word Order Dataset for Multimodal Evaluation
- Title（参考訳）: ColorSwap:マルチモーダル評価のための色と語順データセット
- Authors: Jirayu Burapacheep, Ishan Gaur, Agam Bhatia, Tristan Thrush,
- Abstract要約: そこで本研究では,マルチモーダルモデルの有効性を評価・改善するColorSwapデータセットを提案する。
データセットは2,000のユニークなイメージキャプチャーペアで構成されており、1000の例にまとめられている。
我々は、画像テキストマッチング(ITM)と視覚言語モデル(VLM)を評価し、最新のものでさえもまだこの課題において堅牢ではないことを発見した。
- 参考スコア（独自算出の注目度）: 6.909766146381635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces the ColorSwap dataset, designed to assess and improve the proficiency of multimodal models in matching objects with their colors. The dataset is comprised of 2,000 unique image-caption pairs, grouped into 1,000 examples. Each example includes a caption-image pair, along with a ``color-swapped'' pair. We follow the Winoground schema: the two captions in an example have the same words, but the color words have been rearranged to modify different objects. The dataset was created through a novel blend of automated caption and image generation with humans in the loop. We evaluate image-text matching (ITM) and visual language models (VLMs) and find that even the latest ones are still not robust at this task. GPT-4V and LLaVA score 72% and 42% on our main VLM metric, although they may improve with more advanced prompting techniques. On the main ITM metric, contrastive models such as CLIP and SigLIP perform close to chance (at 12% and 30%, respectively), although the non-contrastive BLIP ITM model is stronger (87%). We also find that finetuning on fewer than 2,000 examples yields significant performance gains on this out-of-distribution word-order understanding task. The dataset is here: https://github.com/Top34051/colorswap and here: https://huggingface.co/datasets/stanfordnlp/colorswap.
- Abstract（参考訳）: そこで本研究では,マルチモーダルモデルの有効性を評価・改善するColorSwapデータセットを提案する。
データセットは2,000のユニークなイメージキャプチャーペアで構成されており、1000の例にまとめられている。
それぞれの例には、キャプションイメージペアと ``color-swapped'' ペアが含まれる。
例の2つのキャプションは同じ単語を持つが、色の単語は異なるオブジェクトを変更するために再構成されている。
データセットは、ループ内の人間と自動キャプションと画像生成の新たなブレンドによって作成されました。
我々は、画像テキストマッチング(ITM)と視覚言語モデル(VLM)を評価し、最新のものでさえもまだこの課題において堅牢ではないことを発見した。
GPT-4VとLLaVAは、より高度なプロンプト技術によって改善されるが、主VLM測定値では72%と42%である。
メインのIMM測定では、CLIPやSigLIPのようなコントラストモデル(それぞれ12%と30%)が、非コントラストのBLIP ITMモデルはより強い(87%)。
また,2000件未満のサンプルに対して微調整を行うことで,このアウト・オブ・ディストリビューション・ワード・オーダー理解タスクにおいて,大幅な性能向上が期待できることがわかった。
データセットは以下の通りである。 https://github.com/Top34051/colorswap and here: https://huggingface.co/datasets/stanfordnlp/colorswap。
関連論文リスト
- Task Success Prediction for Open-Vocabulary Manipulation Based on Multi-Level Aligned Representations [1.1650821883155187]
Contrastive $lambda$-Repformerを提案する。これは、画像と命令文を整列させることで、テーブルトップ操作タスクのタスク成功を予測する。
提案手法は,以下の3つの重要な特徴を多レベルアライメント表現に統合する。
Contrastive $lambda$-Repformerを,大規模標準データセット,RT-1データセット,物理ロボットプラットフォームに基づいて評価する。
論文 参考訳（メタデータ） (2024-10-01T06:35:34Z) - Semantic Alignment for Multimodal Large Language Models [72.10272479476161]
多モード大言語モデル(SAM)のセマンティックアライメントについて紹介する。
画像間の双方向的意味指導を視覚的・視覚的抽出プロセスに組み込むことにより,コヒーレント解析のためのリンク情報の保存性を高めることを目的とする。
画像間の双方向的意味指導を視覚的・視覚的抽出プロセスに組み込むことにより,コヒーレント解析のためのリンク情報の保存性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-08-23T06:48:46Z) - Img-Diff: Contrastive Data Synthesis for Multimodal Large Language Models [32.57246173437492]
本研究は,MLLMにおけるきめ細かい画像認識を強化するために,Img-Diffという新しいデータセットを提案する。
類似画像間のオブジェクト差を解析することにより、マッチングと異なるコンポーネントの両方を識別するモデルに挑戦する。
我々は、安定拡散XLモデルと高度な画像編集技術を用いて、オブジェクト置換をハイライトする類似画像のペアを作成する。
論文 参考訳（メタデータ） (2024-08-08T17:10:16Z) - VisMin: Visual Minimal-Change Understanding [7.226130826257802]
我々は、textbfVisual textbfMinimal-Change Understanding (VisMin)と呼ばれる新しい挑戦的なベンチマークを導入する。
VisMinは2つの画像と2つのキャプションによって正しい画像キャプチャマッチを予測するモデルを必要とする。
CLIPとIdefics2を微調整する大規模なトレーニングデータセットを生成しました。
論文 参考訳（メタデータ） (2024-07-23T18:10:43Z) - UniGS: Unified Representation for Image Generation and Segmentation [105.08152635402858]
カラーマップを使用してエンティティレベルのマスクを表現し、さまざまなエンティティ番号の課題に対処します。
マスク表現を支援するために、位置認識カラーパレットとプログレッシブ二分法モジュールを含む2つの新しいモジュールが提案されている。
論文 参考訳（メタデータ） (2023-12-04T15:59:27Z) - IMProv: Inpainting-based Multimodal Prompting for Computer Vision Tasks [124.90137528319273]
本稿では,マルチモーダルプロンプトから視覚タスクをインコンテキストで学習できる生成モデルIMProvを提案する。
我々は、コンピュータビジョン論文とその関連キャプションから、新しい数字のデータセットにマスク付き生成変換器を訓練する。
推測時間中、テキストおよび/または画像タスクの例でモデルにプロンプトし、そのモデルに対応する出力を印字させる。
論文 参考訳（メタデータ） (2023-12-04T09:48:29Z) - Sieve: Multimodal Dataset Pruning Using Image Captioning Models [11.362835828985494]
Vision-Language Models (VLM) は、大規模で多様でノイズの多いWebcrawledデータセットで事前トレーニングされている。
提案手法は,CLIPがノイズラベルを事前学習しているため,偽陽性や陰性などの複数の制約を伴っていると論じる。
そこで我々は,小,多様,整列した画像テキストペア上で事前訓練された画像キャプションモデルによって生成された合成キャプションを用いたプルーニング信号Sieveを提案する。
論文 参考訳（メタデータ） (2023-10-03T14:53:53Z) - Improving Multimodal Datasets with Image Captioning [65.74736570293622]
生成したキャプションが非記述テキストによるWebスクラッピングデータポイントの有用性を高める方法について検討する。
DataComp の大規模字幕 (1.28B 画像テキストペア) を用いた実験により,合成テキストの限界について考察した。
論文 参考訳（メタデータ） (2023-07-19T17:47:12Z) - T-MARS: Improving Visual Representations by Circumventing Text Feature Learning [99.3682210827572]
LAIONの画像の40%近くは、字幕と重なるテキストを含んでいるという、我々の観察に動機づけられた新しいデータフィルタリング手法を提案する。
我々のシンプルでスケーラブルなアプローチであるT-MARSは、テキストが残りの視覚的特徴を支配するペアのみをフィルタリングします。
論文 参考訳（メタデータ） (2023-07-06T16:59:52Z) - Multi-dataset Pretraining: A Unified Model for Semantic Segmentation [97.61605021985062]
我々は、異なるデータセットの断片化アノテーションを最大限に活用するために、マルチデータセット事前訓練と呼ばれる統合フレームワークを提案する。
これは、複数のデータセットに対して提案されたピクセルからプロトタイプへのコントラスト損失を通じてネットワークを事前トレーニングすることで実現される。
異なるデータセットからの画像とクラス間の関係をより良くモデル化するために、クロスデータセットの混合によりピクセルレベルの埋め込みを拡張する。
論文 参考訳（メタデータ） (2021-06-08T06:13:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。