論文の概要: Revisiting the Role of Language Priors in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2306.01879v2
• Date: Thu, 5 Oct 2023 04:12:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 22:12:01.325838
• Title: Revisiting the Role of Language Priors in Vision-Language Models
• Title（参考訳）: 視覚言語モデルにおける言語優先の役割の再考
• Authors: Zhiqiu Lin, Xinyue Chen, Deepak Pathak, Pengchuan Zhang, Deva Ramanan
• Abstract要約: 視覚言語モデル(VLM)は、微調整なしで、ゼロショット方式で様々な視覚的理解タスクに適用される。 我々は、画像から次の単語を生成するために訓練された$textitgenerative VLMs$について研究する。 画像テキスト検索の図解的タスクにおけるゼロショット性能を,8つの人気のある視覚言語ベンチマークで検証する。
• 参考スコア（独自算出の注目度）: 96.59023532372842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) are impactful in part because they can be applied to a variety of visual understanding tasks in a zero-shot fashion, without any fine-tuning. We study $\textit{generative VLMs}$ that are trained for next-word generation given an image. We explore their zero-shot performance on the illustrative task of image-text retrieval across 8 popular vision-language benchmarks. Our first observation is that they can be repurposed for discriminative tasks (such as image-text retrieval) by simply computing the match score of generating a particular text string given an image. We call this probabilistic score the $\textit{Visual Generative Pre-Training Score}$ (VisualGPTScore). While the VisualGPTScore produces near-perfect accuracy on some retrieval benchmarks, it yields poor accuracy on others. We analyze this behavior through a probabilistic lens, pointing out that some benchmarks inadvertently capture unnatural language distributions by creating adversarial but unlikely text captions. In fact, we demonstrate that even a "blind" language model that ignores any image evidence can sometimes outperform all prior art, reminiscent of similar challenges faced by the visual-question answering (VQA) community many years ago. We derive a probabilistic post-processing scheme that controls for the amount of linguistic bias in generative VLMs at test time without having to retrain or fine-tune the model. We show that the VisualGPTScore, when appropriately debiased, is a strong zero-shot baseline for vision-language understanding, oftentimes producing state-of-the-art accuracy.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、微調整なしで、ゼロショット方式で様々な視覚的理解タスクに適用できるため、影響を受けやすい。 画像から次の単語を生成するために訓練された$\textit{generative VLMs}$について検討する。 画像テキスト検索の図解的タスクにおけるゼロショット性能を,8つの人気のある視覚言語ベンチマークで検証する。 最初の観察は、画像に与えられた特定の文字列を生成するマッチスコアを単純に計算することで、識別的タスク(画像テキスト検索など)に再利用できることである。 この確率スコアを $\textit{Visual Generative Pre-Training Score}$ (VisualGPTScore) と呼ぶ。 VisualGPTScoreは、いくつかの検索ベンチマークでほぼ完璧な精度を生成するが、他のベンチマークでは精度が低い。 この動作を確率的レンズで解析し,不自然な言語分布を不注意に捉えたベンチマークが,逆行的だがありそうにないテキストキャプションを生成できる点を指摘した。 実際、画像証拠を無視した「盲語」言語モデルでさえ、長年の視覚的要求応答(VQA)コミュニティが直面してきた同様の課題を思い起こさせるような、すべての先行技術を上回ることがある。 モデルの再訓練や微調整を必要とせず、テスト時に生成vlmの言語バイアス量を制御する確率的後処理スキームを導出する。 visualgptscoreは、適切に偏りがなければ、視覚言語理解のための強力なゼロショットベースラインであり、しばしば最先端の精度を生み出す。

関連論文リスト

• ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling [35.098725056881655]
  大型視覚言語モデル(LVLM)は前例のない視覚推論能力を示している。 生成されたテキストは、しばしば視覚入力の不正確な接地に悩まされ、既存のシーン要素の幻覚などのエラーが発生する。 そこで我々は,LVLMの視覚的接地性を高めるために,微粒な報酬モデルを用いた新しいフレームワークViGoRを提案する。
  論文  参考訳（メタデータ） (2024-02-09T01:00:14Z)
• Towards Grounded Visual Spatial Reasoning in Multi-Modal Vision Language Models [3.86170450233149]
  画像とテキストとのマッチングを訓練した大規模視覚言語モデル(VLM)では,空間的関係の微妙な理解が欠如していることが示されている。 本稿では,空間的節の認識とランク付けのための,よりきめ細かな構成的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-18T18:58:54Z)
• UniFine: A Unified and Fine-grained Approach for Zero-shot Vision-Language Understanding [84.83494254263138]
  ゼロショット視覚言語学習のための微細な情報を利用する統一的なフレームワークを提案する。 我々のフレームワークは従来のVQAのゼロショット法よりも優れており、SNLI-VEとVCRの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-07-03T09:03:12Z)
• Visually-augmented pretrained language models for NLP tasks without images [77.74849855049523]
  既存のソリューションはしばしば視覚的知識増強のために明示的なイメージに依存している。 我々は、新しいtextbfVisually-textbfAugmented fine-tuningアプローチを提案する。 我々のアプローチは、BERT、RoBERTa、BART、T5を異なるスケールで継続的に改善することができる。
  論文  参考訳（メタデータ） (2022-12-15T16:13:25Z)
• I Can't Believe There's No Images! Learning Visual Tasks Using only Language Supervision [32.49636188029509]
  4つのタスクのテキストトレーニングデータのみを用いてモデルを作成する。 これらのモデルは、画像上で訓練されたモデルに近いパフォーマンスを示す。 画像データと人為的な言語データを用いない,多種多様なスタイリスティックな画像キャプションモデルについて紹介する。
  論文  参考訳（メタデータ） (2022-11-17T18:52:19Z)
• Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic [72.60554897161948]
  最近のテキストと画像のマッチングモデルは、未修正画像と文の大きなコーパスに対してコントラスト学習を適用している。 本研究では、そのようなモデルを用いて、推論時に画像が与えられた記述テキストを生成する。 結果として得られたキャプションは、教師付きキャプション法によるキャプションよりもはるかに制限を受けない。
  論文  参考訳（メタデータ） (2021-11-29T11:01:49Z)
• Visually Grounded Compound PCFGs [65.04669567781634]
  言語理解のための視覚的基盤の爆発は、最近多くの注目を集めている。 本研究では,視覚的な文法誘導について検討し,未ラベルテキストとその視覚的キャプションから選挙区を学習する。
  論文  参考訳（メタデータ） (2020-09-25T19:07:00Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。