論文の概要: VLRM: Vision-Language Models act as Reward Models for Image Captioning

• arxiv url: http://arxiv.org/abs/2404.01911v1
• Date: Tue, 2 Apr 2024 12:57:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 16:28:46.611374
• Title: VLRM: Vision-Language Models act as Reward Models for Image Captioning
• Title（参考訳）: VLRM:イメージキャプションのためのリワードモデルとして機能するビジョンランゲージモデル
• Authors: Maksim Dzabraev, Alexander Kunitsyn, Andrei Ivaniuta,
• Abstract要約: 本稿では,CLIP や BLIP2-ITM などの視覚言語モデルを用いた画像キャプションモデルの拡張手法を提案する。 われわれのモデルはMS-COCO Carpathy Test Splitで0.90 R@1 CLIP Recallスコアに達した。
• 参考スコア（独自算出の注目度）: 45.59831141171801
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this work, we present an unsupervised method for enhancing an image captioning model (in our case, BLIP2) using reinforcement learning and vision-language models like CLIP and BLIP2-ITM as reward models. The RL-tuned model is able to generate longer and more comprehensive descriptions. Our model reaches impressive 0.90 R@1 CLIP Recall score on MS-COCO Carpathy Test Split. Weights are available at https://huggingface.co/sashakunitsyn/vlrm-blip2-opt-2.7b.
• Abstract（参考訳）: 本稿では,CLIP や BLIP2-ITM などの視覚言語モデルを用いて,画像キャプションモデル(BLIP2) を向上するための教師なし手法を提案する。 RLで調整されたモデルは、より長くより包括的な記述を生成することができる。 われわれのモデルはMS-COCO Carpathy Test Splitで0.90 R@1 CLIP Recallスコアに達した。 重量はhttps://huggingface.co/sashakunitsyn/vlrm-blip2-opt-2.7bで確認できる。

関連論文リスト

• Self-Rewarding Language Models [105.6830788170348]
  言語モデル自体がLLM-as-a-Judgeを介して使用される自己回帰言語モデルについて検討し、学習中に独自の報酬を提供する。 反復型DPOトレーニングでは,指導の追従能力が向上するだけでなく,高品質な報酬をそれ自体に提供する能力も向上することを示す。
  論文  参考訳（メタデータ） (2024-01-18T14:43:47Z)
• Linear Alignment of Vision-language Models for Image Captioning [9.746397419479447]
  本稿では,CLIPのイメージとテキストの埋め込みを線形にマッピングする,より効率的なトレーニングプロトコルを提案する。 これにより、勾配計算の必要性を回避し、ReCapと呼ばれる軽量キャプション方式が実現される。 ReCap on MS-COCO, Flickr30k, VizWiz, MSRVTT。
  論文  参考訳（メタデータ） (2023-07-10T17:59:21Z)
• Zero-shot Visual Question Answering with Language Model Feedback [83.65140324876536]
  知識に基づく視覚的質問応答(VQA)のための言語モデル指導型キャプションアプローチ LAMOC を提案する。 提案手法では,予備学習言語モデル (PLM) である回答予測モデルの文脈として,キャプションモデルによって生成されたキャプションを用いる。
  論文  参考訳（メタデータ） (2023-05-26T15:04:20Z)
• Revisiting Temporal Modeling for CLIP-based Image-to-Video Knowledge Transferring [82.84513669453744]
  画像テキスト事前訓練モデル(例えばCLIP)は、大規模な画像テキストデータペアから学んだ、印象的な汎用マルチモーダル知識を示している。 画像間知識伝達の文脈における時間的モデリングを再考する。 本稿では,CLIPモデルを多様なビデオタスクに拡張する簡易かつ効果的な時間的モデリング機構を提案する。
  論文  参考訳（メタデータ） (2023-01-26T14:12:02Z)
• Model Extraction Attack against Self-supervised Speech Models [52.81330435990717]
  自己教師付き学習(SSL)音声モデルは、与えられたクリップの有意義な表現を生成する。 モデル抽出攻撃 (MEA) は、しばしば、クエリアクセスのみで被害者モデルの機能を盗む敵を指す。 本稿では,少数のクエリを用いたSSL音声モデルに対するMEA問題について検討する。
  論文  参考訳（メタデータ） (2022-11-29T09:28:05Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)
• A Fistful of Words: Learning Transferable Visual Models from Bag-of-Words Supervision [32.4697157553247]
  本稿では,ゼロショット画像分類モデルの学習において,言語指導のどの部分が不可欠かを理解することに焦点を当てる。 単純なBag-of-Words (BoW)キャプションは、データセットのほとんどのイメージキャプションの代替として使用できる。 プレトレーニングされたBoWモデルを用いて,キャプションを持たない画像に擬似BoWキャプションを生成することで,より多くのトレーニングデータを得ることができる。
  論文  参考訳（メタデータ） (2021-12-27T20:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。