Fugu-MT 論文翻訳(概要): The Neglected Tails in Vision-Language Models

論文の概要: The Neglected Tails in Vision-Language Models

arxiv url: http://arxiv.org/abs/2401.12425v3
Date: Wed, 22 May 2024 16:29:58 GMT
ステータス: 処理完了
システム内更新日: 2024-05-25 11:26:41.747175
Title: The Neglected Tails in Vision-Language Models
Title（参考訳）: 視覚・言語モデルにおける無視タオル
Authors: Shubham Parashar, Zhiqiu Lin, Tian Liu, Xiangjue Dong, Yanan Li, Deva Ramanan, James Caverlee, Shu Kong,
Abstract要約: 視覚言語モデル(VLM)はゼロショット認識において優れているが,その性能は視覚的概念によって大きく異なる。ゼロショットVLMの不均衡性能を軽減するために,Retrieval-Augmented Learning (REAL)を提案する。
参考スコア（独自算出の注目度）: 51.79913798808725
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vision-language models (VLMs) excel in zero-shot recognition but their performance varies greatly across different visual concepts. For example, although CLIP achieves impressive accuracy on ImageNet (60-80%), its performance drops below 10% for more than ten concepts like night snake, presumably due to their limited presence in the pretraining data. However, measuring the frequency of concepts in VLMs' large-scale datasets is challenging. We address this by using large language models (LLMs) to count the number of pretraining texts that contain synonyms of these concepts. Our analysis confirms that popular datasets, such as LAION, exhibit a long-tailed concept distribution, yielding biased performance in VLMs. We also find that downstream applications of VLMs, including visual chatbots (e.g., GPT-4V) and text-to-image models (e.g., Stable Diffusion), often fail to recognize or generate images of rare concepts identified by our method. To mitigate the imbalanced performance of zero-shot VLMs, we propose REtrieval-Augmented Learning (REAL). First, instead of prompting VLMs using the original class names, REAL uses their most frequent synonyms found in pretraining texts. This simple change already outperforms costly human-engineered and LLM-enriched prompts over nine benchmark datasets. Second, REAL trains a linear classifier on a small yet balanced set of pretraining data retrieved using concept synonyms. REAL surpasses the previous zero-shot SOTA, using 400x less storage and 10,000x less training time!
Abstract（参考訳）: 視覚言語モデル(VLM)はゼロショット認識では優れるが、その性能は異なる視覚概念によって大きく異なる。たとえば、CLIPはImageNet(60-80%)で印象的な精度を実現しているが、そのパフォーマンスは、おそらく事前トレーニングデータに限られているため、ナイトヘビのような10以上のコンセプトで10%以下に低下している。しかしながら、VLMの大規模データセットにおける概念の頻度を測定することは困難である。これらの概念の同義語を含む事前学習テキストの数をカウントするために,大規模言語モデル (LLM) を用いてこの問題に対処する。我々の分析では、LAIONのような一般的なデータセットが長い尾を持つ概念分布を示し、VLMのバイアスのある性能をもたらすことを確認した。また,視覚チャットボット (GPT-4V) やテキスト・ツー・イメージモデル (Stable Diffusion など) など,VLM の下流アプリケーションでは,この手法によって認識される稀な概念の画像の認識や生成に失敗することが多い。ゼロショットVLMの不均衡性能を軽減するため,Retrieval-Augmented Learning (REAL)を提案する。まず、オリジナルのクラス名を使ってVLMをプロンプトする代わりに、REALはトレーニング前のテキストで見られる最も頻繁な同義語を使用する。この単純な変更は、コストのかかるヒューマンエンジニアリングとLLM強化プロンプトを9つのベンチマークデータセットで上回っている。第2に、REALは概念シノニムを用いて検索された訓練前のデータの小さなバランスの取れたセットに線形分類器を訓練する。 REALは以前のゼロショットSOTAを超え、400倍のストレージと1万分の1のトレーニング時間を使っています!

関連論文リスト

Déjà Vu Memorization in Vision-Language Models [39.51189095703773]
視覚言語モデル(VLM)における記憶量測定のための新しい手法を提案する。モデルでは、相関や画像キャプションから推測できる範囲を超えて、トレーニング画像中の個々のオブジェクトに関する情報が実際に保持されていることを示す。サンプルおよび集団レベルでのd'eja vuメモリ化を評価し,最大5000万枚の画像キャプチャーペアで訓練したOpenCLIPにとって重要であることを示す。
論文参考訳（メタデータ） (2024-02-03T09:55:35Z)
Revisiting Few-Shot Object Detection with Vision-Language Models [49.79495118650838]
我々は、最近の基礎視覚言語モデル(VLM)の文脈で、少数ショットオブジェクト検出(FSOD)のタスクを再考する。我々は,任意の外部データ上で事前学習された検出器を評価する新しいベンチマークプロトコルであるFoundational FSODを提案する。 CVPR 2024 Foundational FSOD コンペティションについて論じ,コミュニティからの洞察を共有した。
論文参考訳（メタデータ） (2023-12-22T07:42:00Z)
VILA: On Pre-training for Visual Language Models [74.08039416548209]
ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
論文参考訳（メタデータ） (2023-12-12T18:58:18Z)
Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
論文参考訳（メタデータ） (2023-06-12T15:52:02Z)
Preventing Zero-Shot Transfer Degradation in Continual Learning of Vision-Language Models [13.340759455910721]
本稿では,視覚言語モデルの連続学習におけるゼロショット転送劣化を防止する新しい手法を提案する。本手法は,従来のクラス増分学習環境において,他の手法よりも優れている。
論文参考訳（メタデータ） (2023-03-12T10:28:07Z)
Task Residual for Tuning Vision-Language Models [69.22958802711017]
タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
論文参考訳（メタデータ） (2022-11-18T15:09:03Z)
Generative Negative Text Replay for Continual Vision-Language Pretraining [95.2784858069843]
視覚言語による事前学習が近年注目を集めている。大量のデータは、通常ストリーミング形式で収集される。本稿では,画像とテキスト間のマルチモーダルな知識蒸留手法を提案する。
論文参考訳（メタデータ） (2022-10-31T13:42:21Z)
Learning Transferable Visual Models From Natural Language Supervision [13.866297967166089]
画像に関する生のテキストから直接学ぶことは、有望な代替手段だ。本研究では,どのキャプションがどの画像で動くかを予測する単純な事前学習タスクが,効率よく,スケーラブルな学習方法であることを実証する。 SOTA画像表現は、インターネットから収集された4億(画像、テキスト)のデータセットから学習される。
論文参考訳（メタデータ） (2021-02-26T19:04:58Z)
VisualGPT: Data-efficient Image Captioning by Balancing Visual Input and Linguistic Knowledge from Pretraining [39.24803665848558]
大規模事前学習言語モデル(LM)から言語知識を活用するデータ効率のよい画像キャプションモデルであるVisualGPTを提案する。少量のインドメイントレーニングデータに予め訓練されたLMを言語デコーダとして迅速に適応させる,新しい自己回復型エンコーダデコーダ注意機構を設計した。 VisualGPTは、MS COCOで最大10.8%のCIDEr、コンセプチュアルキャプションで最大5.4%のCIDErで最高のベースラインモデルを上回る。
論文参考訳（メタデータ） (2021-02-20T18:02:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。