論文の概要: Effectively Enhancing Vision Language Large Models by Prompt Augmentation and Caption Utilization

• arxiv url: http://arxiv.org/abs/2409.14484v1
• Date: Sun, 22 Sep 2024 15:07:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 22:30:40.636100
• Title: Effectively Enhancing Vision Language Large Models by Prompt Augmentation and Caption Utilization
• Title（参考訳）: Prompt Augmentation と Caption の利用による視覚言語大モデルの実現
• Authors: Minyi Zhao, Jie Wang, Zhaoyang Li, Jiyuan Zhang, Zhenbang Sun, Shuigeng Zhou,
• Abstract要約: 視覚言語大モデル(VLLM)は、入力画像に関係のないコンテンツを出力することができる。 モデル出力をより合理的かつ正確にするための様々なアンチハロシン化技術が提案されている。 本稿では,VLLMの生成能力を高めるために,Prompt Augmentation and Caption utilization (PACU)を提案する。
• 参考スコア（独自算出の注目度）: 25.21550682848275
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent studies have shown that Vision Language Large Models (VLLMs) may output content not relevant to the input images. This problem, called the hallucination phenomenon, undoubtedly degrades VLLM performance. Therefore, various anti-hallucination techniques have been proposed to make model output more reasonable and accurate. Despite their successes, from extensive tests we found that augmenting the prompt (e.g. word appending, rewriting, and spell error etc.) may change model output and make the output hallucinate again. To cure this drawback, we propose a new instruct-tuning framework called Prompt Augmentation and Caption Utilization (PACU) to boost VLLM's generation ability under the augmented prompt scenario. Concretely, on the one hand, PACU exploits existing LLMs to augment and evaluate diverse prompts automatically. The resulting high-quality prompts are utilized to enhance VLLM's ability to process different prompts. On the other hand, PACU exploits image captions to jointly work with image features as well as the prompts for response generation. When the visual feature is inaccurate, LLM can capture useful information from the image captions for response generation. Extensive experiments on hallucination evaluation and prompt-augmented datasets demonstrate that our PACU method can work well with existing schemes to effectively boost VLLM model performance. Code is available in https://github.com/zhaominyiz/PACU.
• Abstract（参考訳）: 近年の研究では、VLLM(Vision Language Large Models)が入力画像に関連のないコンテンツを出力できることが示されている。 この問題は幻覚現象と呼ばれ、間違いなくVLLM性能を低下させる。 そのため、モデル出力をより合理的かつ正確なものにするために、様々なアンチハロシン化技術が提案されている。 彼らの成功にもかかわらず、広範なテストから、プロンプト(例えば、単語の付加、書き直し、スペルエラーなど)を増強することで、モデルの出力が変更され、出力が再び幻覚化することを発見した。 そこで本研究では,VLLMの生成能力を高めるために,Prompt Augmentation and Caption utilization (PACU) と呼ばれる新しいインストラクションチューニングフレームワークを提案する。 具体的には、PACUは既存のLCMを利用して、多様なプロンプトを自動で拡張し評価する。 結果として生じる高品質なプロンプトは、異なるプロンプトを処理するVLLMの能力を高めるために利用される。 一方、PACUは画像キャプションを利用して、画像の特徴と応答生成のプロンプトを併用する。 視覚的特徴が不正確な場合、LCMは、応答生成のための画像キャプションから有用な情報をキャプチャすることができる。 VLLMモデルの性能を効果的に向上するために,我々のPACU法が既存の手法とうまく連携できることを示す。 コードはhttps://github.com/zhaominyiz/PACUで入手できる。

関連論文リスト

• PIP-MM: Pre-Integrating Prompt Information into Visual Encoding via Existing MLLM Structures [5.513631883813244]
  既存のMLLMのモジュールを用いて,textbfPre-textbfIntegratestextbfPromptを視覚符号化プロセスに組み込むフレームワークを提案する。 我々のモデルは、視覚トークンの半分を減らしても優れた世代を維持している。
  論文  参考訳（メタデータ） (2024-10-30T15:05:17Z)
• Attention Prompting on Image for Large Vision-Language Models [63.794304207664176]
  本稿では,画像上の注意喚起という新しいプロンプト手法を提案する。 我々は,CLIPのような補助モデルを用いて,テキストクエリに依存する入力画像に対するアテンションヒートマップを生成する。 各種バイソン言語ベンチマークの実験により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-09-25T17:59:13Z)
• Improving the Efficiency of Visually Augmented Language Models [5.948051066733892]
  本稿では,LMを視覚的に拡張するために明示的な画像は必要ないことを示す。 代わりに、よく知られたCLIPマルチモーダルシステムから得られる視覚的なテキスト表現を使用する。 BLIND-VALMは、VALM for Visual Language Understanding (VLU)、Natural Language Understanding (NLU)、Language Modelingタスクと同等に動作することを示す。
  論文  参考訳（メタデータ） (2024-09-17T13:02:19Z)
• Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning [59.13366859237086]
  大規模視覚言語(VL)モデルを効率的に構築するための現在のソリューションは、2段階のパラダイムに従う。 視覚情報に関連するタスクに対処する際の言語モデルを容易にする追加知識として視覚的プロンプトを考察する。 本稿では,視覚的知識注入のためのFFNの重み付けにより視覚的プロンプトを記憶する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-09T08:23:20Z)
• Self-Training Large Language Models for Improved Visual Program Synthesis With Visual Reinforcement [93.73648674743097]
  ビジュアルプログラム合成は、構成型コンピュータビジョンタスクのための大規模言語モデルの推論能力を利用するための有望なアプローチである。 それまでの作業では、視覚プログラムを合成するために、凍結LDMを使用した数発のプロンプトを使用していた。 トレーニング用ビジュアルプログラムのデータセットは存在せず、ビジュアルプログラムデータセットの取得は簡単にクラウドソーシングできない。
  論文  参考訳（メタデータ） (2024-04-06T13:25:00Z)
• Mitigating Fine-Grained Hallucination by Fine-Tuning Large Vision-Language Models with Caption Rewrites [18.640459366439917]
  このフレームワークは,ChatGPTを用いた字幕の書き直しと,書き直された字幕上の命令調整されたLVLMの微調整という2つのコンポーネントから構成される。 実験の結果,ReCaptionは様々なLVLMオプションに対して,粒度の細かいオブジェクト幻覚を効果的に低減し,テキスト生成品質を向上することを示した。
  論文  参考訳（メタデータ） (2023-12-04T07:43:02Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• CIEM: Contrastive Instruction Evaluation Method for Better Instruction Tuning [8.217445461627797]
  VLM(Vision-Language Models)は、下流のアプリケーションで、例えば存在しないエンティティをキャプションするときに、誤った知覚情報を生成する。 幻覚現象に対処するため,CIEM(Contrastive Instruction Evaluation Method)とCIT(Contrastive Instruction Tuning)を導入する。 既存のVLMに共通する幻覚問題,幻覚現象に対処する現在の指導訓練データセットの障害,およびCIEMおよび公開データセットよりもCIT調整VLMの方が優れていることを指摘する。
  論文  参考訳（メタデータ） (2023-09-05T15:06:37Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)
• A Good Prompt Is Worth Millions of Parameters? Low-resource Prompt-based Learning for Vision-Language Models [50.27305012063483]
  FewVLMは、視覚言語タスクに関する数発のプロンプトベースの学習ツールである。 我々はプレフィックス言語モデリング(PrefixLM)とマスク言語モデリング(MaskedLM)を併用したシーケンス・ツー・シーケンス・トランスフォーマーモデルを事前訓練する。 このプロンプトはゼロショット性能に大きく影響するが、少数ショット性能にはほとんど影響しない。
  論文  参考訳（メタデータ） (2021-10-16T06:07:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。