論文の概要: Effectively Enhancing Vision Language Large Models by Prompt Augmentation and Caption Utilization

• arxiv url: http://arxiv.org/abs/2409.14484v1
• Date: Sun, 22 Sep 2024 15:07:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 22:30:40.636100
• Title: Effectively Enhancing Vision Language Large Models by Prompt Augmentation and Caption Utilization
• Title（参考訳）: Prompt Augmentation と Caption の利用による視覚言語大モデルの実現
• Authors: Minyi Zhao, Jie Wang, Zhaoyang Li, Jiyuan Zhang, Zhenbang Sun, Shuigeng Zhou,
• Abstract要約: 視覚言語大モデル(VLLM)は、入力画像に関係のないコンテンツを出力することができる。 モデル出力をより合理的かつ正確にするための様々なアンチハロシン化技術が提案されている。 本稿では,VLLMの生成能力を高めるために,Prompt Augmentation and Caption utilization (PACU)を提案する。
• 参考スコア（独自算出の注目度）: 25.21550682848275
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent studies have shown that Vision Language Large Models (VLLMs) may output content not relevant to the input images. This problem, called the hallucination phenomenon, undoubtedly degrades VLLM performance. Therefore, various anti-hallucination techniques have been proposed to make model output more reasonable and accurate. Despite their successes, from extensive tests we found that augmenting the prompt (e.g. word appending, rewriting, and spell error etc.) may change model output and make the output hallucinate again. To cure this drawback, we propose a new instruct-tuning framework called Prompt Augmentation and Caption Utilization (PACU) to boost VLLM's generation ability under the augmented prompt scenario. Concretely, on the one hand, PACU exploits existing LLMs to augment and evaluate diverse prompts automatically. The resulting high-quality prompts are utilized to enhance VLLM's ability to process different prompts. On the other hand, PACU exploits image captions to jointly work with image features as well as the prompts for response generation. When the visual feature is inaccurate, LLM can capture useful information from the image captions for response generation. Extensive experiments on hallucination evaluation and prompt-augmented datasets demonstrate that our PACU method can work well with existing schemes to effectively boost VLLM model performance. Code is available in https://github.com/zhaominyiz/PACU.
• Abstract（参考訳）: 近年の研究では、VLLM(Vision Language Large Models)が入力画像に関連のないコンテンツを出力できることが示されている。 この問題は幻覚現象と呼ばれ、間違いなくVLLM性能を低下させる。 そのため、モデル出力をより合理的かつ正確なものにするために、様々なアンチハロシン化技術が提案されている。 彼らの成功にもかかわらず、広範なテストから、プロンプト(例えば、単語の付加、書き直し、スペルエラーなど)を増強することで、モデルの出力が変更され、出力が再び幻覚化することを発見した。 そこで本研究では,VLLMの生成能力を高めるために,Prompt Augmentation and Caption utilization (PACU) と呼ばれる新しいインストラクションチューニングフレームワークを提案する。 具体的には、PACUは既存のLCMを利用して、多様なプロンプトを自動で拡張し評価する。 結果として生じる高品質なプロンプトは、異なるプロンプトを処理するVLLMの能力を高めるために利用される。 一方、PACUは画像キャプションを利用して、画像の特徴と応答生成のプロンプトを併用する。 視覚的特徴が不正確な場合、LCMは、応答生成のための画像キャプションから有用な情報をキャプチャすることができる。 VLLMモデルの性能を効果的に向上するために,我々のPACU法が既存の手法とうまく連携できることを示す。 コードはhttps://github.com/zhaominyiz/PACUで入手できる。

関連論文リスト

• Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models [66.71616369573715]
  LVLM(Large Vision-Language Models)は、与えられた視覚入力と一致しない幻覚的テキスト応答を生成する傾向がある。 テキストから画像への生成モデルからのフィードバックをデコードプロセスに組み込んだ,新たなトレーニングフリーアルゴリズムである生成フィードバック付き自己修正デコード(DeGF)を導入する。
  論文  参考訳（メタデータ） (2025-02-10T03:43:55Z)
• HoVLE: Unleashing the Power of Monolithic Vision-Language Models with Holistic Vision-Language Embedding [91.0552157725366]
  本稿では,HoVLEという新しい高性能モノリシックVLMを提案する。 視覚的入力とテキスト入力を共有空間に変換し、LLMはテキストと同じ方法で画像を処理できる。 実験の結果,HoVLEは様々なベンチマークにおいて,主要な構成モデルに近い性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-20T18:59:59Z)
• PIP-MM: Pre-Integrating Prompt Information into Visual Encoding via Existing MLLM Structures [5.513631883813244]
  既存のMLLMのモジュールを用いて,textbfPre-textbfIntegratestextbfPromptを視覚符号化プロセスに組み込むフレームワークを提案する。 我々のモデルは、視覚トークンの半分を減らしても優れた世代を維持している。
  論文  参考訳（メタデータ） (2024-10-30T15:05:17Z)
• Attention Prompting on Image for Large Vision-Language Models [63.794304207664176]
  本稿では,画像上の注意喚起という新しいプロンプト手法を提案する。 我々は,CLIPのような補助モデルを用いて,テキストクエリに依存する入力画像に対するアテンションヒートマップを生成する。 各種バイソン言語ベンチマークの実験により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-09-25T17:59:13Z)
• Improving the Efficiency of Visually Augmented Language Models [5.948051066733892]
  本稿では,LMを視覚的に拡張するために明示的な画像は必要ないことを示す。 代わりに、よく知られたCLIPマルチモーダルシステムから得られる視覚的なテキスト表現を使用する。 BLIND-VALMは、VALM for Visual Language Understanding (VLU)、Natural Language Understanding (NLU)、Language Modelingタスクと同等に動作することを示す。
  論文  参考訳（メタデータ） (2024-09-17T13:02:19Z)
• Self-Training Large Language Models for Improved Visual Program Synthesis With Visual Reinforcement [93.73648674743097]
  ビジュアルプログラム合成は、構成型コンピュータビジョンタスクのための大規模言語モデルの推論能力を利用するための有望なアプローチである。 それまでの作業では、視覚プログラムを合成するために、凍結LDMを使用した数発のプロンプトを使用していた。 トレーニング用ビジュアルプログラムのデータセットは存在せず、ビジュアルプログラムデータセットの取得は簡単にクラウドソーシングできない。
  論文  参考訳（メタデータ） (2024-04-06T13:25:00Z)
• Make VLM Recognize Visual Hallucination on Cartoon Character Image with Pose Information [5.501684533538496]
  視覚言語モデル(VLM)を用いた意味幻覚検出システムを提案する。 我々は、プロンプト、RGB画像、ポーズ情報を超えて視覚データをさらに入力することで、VLMの全体的な性能を改善する、ポーズ認識型インコンテキスト・ビジュアル・ラーニング(PA-ICVL)を導入する。 本研究は、コンテキスト内視覚学習による視覚幻覚を緩和し、非フォトリアリスティック領域における潜在能力を拡大することにより、TTIモデルの現実世界への応用に向けての能力を向上させる。
  論文  参考訳（メタデータ） (2024-03-22T09:13:09Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。