論文の概要: PIP-MM: Pre-Integrating Prompt Information into Visual Encoding via Existing MLLM Structures

• arxiv url: http://arxiv.org/abs/2410.23089v1
• Date: Wed, 30 Oct 2024 15:05:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:27:30.124443
• Title: PIP-MM: Pre-Integrating Prompt Information into Visual Encoding via Existing MLLM Structures
• Title（参考訳）: PIP-MM:既存のMLLM構造によるプロンプト情報の視覚符号化
• Authors: Tianxiang Wu, Minxin Nie, Ziqiang Cao,
• Abstract要約: 既存のMLLMのモジュールを用いて,textbfPre-textbfIntegratestextbfPromptを視覚符号化プロセスに組み込むフレームワークを提案する。 我々のモデルは、視覚トークンの半分を減らしても優れた世代を維持している。
• 参考スコア（独自算出の注目度）: 5.513631883813244
• License:
• Abstract: The Multimodal Large Language Models (MLLMs) have activated the capabilitiesof Large Language Models (LLMs) in solving visual-language tasks by integratingvisual information. The prevailing approach in existing MLLMs involvesemploying an image encoder to extract visual features, converting thesefeatures into visual tokens via an adapter, and then integrating them with theprompt into the LLM. However, because the process of image encoding isprompt-agnostic, the extracted visual features only provide a coarsedescription of the image, impossible to focus on the requirements of theprompt. On one hand, it is easy for image features to lack information aboutthe prompt-specified objects, resulting in unsatisfactory responses. On theother hand, the visual features contain a large amount of irrelevantinformation, which not only increases the burden on memory but also worsens thegeneration effectiveness. To address the aforementioned issues, we propose\textbf{PIP-MM}, a framework that \textbf{P}re-\textbf{I}ntegrates\textbf{P}rompt information into the visual encoding process using existingmodules of MLLMs. Specifically, We utilize the frozen LLM in the MLLM tovectorize the input prompt, which summarizes the requirements of the prompt.Then, we input the prompt vector into our trained Multi-Layer Perceptron (MLP)to align with the visual input requirements, and subsequently replace the classembedding in the image encoder. Since our model only requires adding atrainable MLP, it can be applied to any MLLM. To validate the effectiveness ofPIP-MM, we conducted experiments on multiple benchmarks. Automated evaluationmetrics and manual assessments demonstrate the strong performance of PIP-MM.Particularly noteworthy is that our model maintains excellent generationresults even when half of the visual tokens are reduced.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、視覚情報の統合による視覚言語タスクの解決において、LLM(Large Language Models)の機能を活性化している。 既存のMLLMの一般的なアプローチは、画像エンコーダを使用して視覚的特徴を抽出し、これらの特徴をアダプタを介して視覚トークンに変換し、それらをLLMに統合することである。 しかし、画像符号化のプロセスはプロンプトに依存しないため、抽出された視覚的特徴は画像の粗い記述しか提供せず、プロンプトの要求に焦点を合わせることは不可能である。 一方、画像の特徴は、素早い指定対象に関する情報を欠くことが容易であり、不満足な応答をもたらす。 一方、視覚的特徴には大量の無関係情報が含まれており、これは記憶の負担を増大させるだけでなく、生成効率を悪化させる。 上記の問題に対処するために,既存のMLLMの加群を用いて視覚符号化プロセスに情報を伝達するフレームワークである\textbf{P}re-\textbf{I}ntegrates\textbf{P}romptを提案する。 具体的には、MLLMの凍結LDMを用いて入力プロンプトをベクトル化し、プロンプトの要求を要約し、訓練されたMulti-Layer Perceptron(MLP)にプロンプトベクトルを入力し、視覚的な入力要求に適合させ、次にイメージエンコーダのクラス埋め込みを置き換える。 我々のモデルは、制限可能なMLPのみを必要とするため、任意のMLLMに適用できる。 PIP-MMの有効性を検証するため,複数のベンチマークで実験を行った。 自動評価と手動評価はPIP-MMの強い性能を示すが、特に注目すべきは、視覚トークンの半分を減らしても、我々のモデルは優れた世代認識を維持している点である。

関連論文リスト

• Attention Prompting on Image for Large Vision-Language Models [63.794304207664176]
  本稿では,画像上の注意喚起という新しいプロンプト手法を提案する。 我々は,CLIPのような補助モデルを用いて,テキストクエリに依存する入力画像に対するアテンションヒートマップを生成する。 各種バイソン言語ベンチマークの実験により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-09-25T17:59:13Z)
• Visual Prompting in Multimodal Large Language Models: A Survey [95.75225825537528]
  MLLM(Multimodal large language model)は、視覚機能を備えた事前訓練された多言語モデル(LLM)である。 ビジュアルプロンプトはよりきめ細かな自由形式のビジュアルインストラクションのために現れた。 本稿では,視覚的プロンプト,即時生成,構成的推論,即時学習に焦点をあてる。
  論文  参考訳（メタデータ） (2024-09-05T08:47:34Z)
• ControlMLLM: Training-Free Visual Prompt Learning for Multimodal Large Language Models [73.34709921061928]
  マルチモーダル大言語モデル(MLLM)に視覚的参照を注入する学習自由手法を提案する。 MLLMにおけるテキストプロンプトトークンと視覚トークンの関係を観察する。 我々は,エネルギー関数に基づいて学習可能な視覚トークンを最適化し,注目マップにおける参照領域の強度を高める。
  論文  参考訳（メタデータ） (2024-07-31T11:40:29Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• TokenPacker: Efficient Visual Projector for Multimodal LLM [37.1071749188282]
  ビジュアルプロジェクタは、ビジュアルエンコーダとLarge Language Model(LLM)の間に必須のブリッジとして機能する。 本稿では,密集した特徴を注入して凝縮した視覚トークンを生成するために,粗く細かなスキームを取り入れた新しいビジュアルプロジェクタを提案する。 我々のアプローチでは、ビジュアルトークンを75%89%圧縮し、多様なベンチマークで同等またはさらに優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-07-02T16:10:55Z)
• Visual Perception by Large Language Model's Weights [34.34876575183736]
  本稿では,視覚情報をモデル重みとして表現するパラメータ空間アライメントパラダイムを提案する。 各入力画像に対して、視覚的特徴を抽出し、特徴を知覚重みに変換し、知覚重みとLLMの重みをマージする視覚エンコーダを用いる。 このようにして、LLMの入力は視覚トークンを必要としないため、入力シーケンスの長さが小さくなり、効率が大幅に向上する。
  論文  参考訳（メタデータ） (2024-05-30T17:59:47Z)
• Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
  我々は、Draw-and-Understandプロジェクト、新しいモデル、マルチドメインデータセット、ビジュアルプロンプトのための挑戦的なベンチマークを紹介する。 具体的には、視覚エンコーダ、視覚プロンプトエンコーダ、LLMを接続する、エンド・ツー・エンドのマルチモーダル大規模言語モデル(MLLM)を提案する。 MLLMの視覚的プロンプト研究を進めるために,MDVP-DataとMDVP-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T16:26:20Z)
• Aligned with LLM: a new multi-modal training paradigm for encoding fMRI activity in visual cortex [4.57590454144072]
  近年,事前訓練された大規模言語モデル(LLM)の人気が高まっている。 本稿では,視覚野のfMRI活性を符号化し,LLMと整合した新しいマルチモーダルトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T12:30:23Z)
• Fine-tuning Multimodal LLMs to Follow Zero-shot Demonstrative Instructions [126.3136109870403]
  汎用的で軽量なVisual Prompt Generator Complete Module (VPG-C)を導入する。 VPG-Cは、実証的な指示を解釈するために欠落した詳細を推測し、完成する。 私たちは、実証的な命令理解のための包括的なベンチマークであるDEMONを構築します。
  論文  参考訳（メタデータ） (2023-08-08T09:32:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。