Fugu-MT 論文翻訳(概要): Introducing Visual Perception Token into Multimodal Large Language Model

論文の概要: Introducing Visual Perception Token into Multimodal Large Language Model

arxiv url: http://arxiv.org/abs/2502.17425v1
Date: Mon, 24 Feb 2025 18:56:12 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-25 15:56:42.194011
Title: Introducing Visual Perception Token into Multimodal Large Language Model
Title（参考訳）: マルチモーダル大規模言語モデルへの視覚知覚トークンの導入
Authors: Runpeng Yu, Xinyin Ma, Xinchao Wang,
Abstract要約: MLLM(Multimodal Large Language Model)はその視覚エンコーダの知覚過程に依存している。 MLLMには、独自の視覚知覚プロセスを制御する自律的な能力がない。本稿では,視覚知覚のプロセスを制御する機構をMLLMに組み込むことを目的として,視覚知覚トークンの概念を提案する。
参考スコア（独自算出の注目度）: 53.82301522384719
License:
Abstract: To utilize visual information, Multimodal Large Language Model (MLLM) relies on the perception process of its vision encoder. The completeness and accuracy of visual perception significantly influence the precision of spatial reasoning, fine-grained understanding, and other tasks. However, MLLM still lacks the autonomous capability to control its own visual perception processes, for example, selectively reviewing specific regions of an image or focusing on information related to specific object categories. In this work, we propose the concept of Visual Perception Token, aiming to empower MLLM with a mechanism to control its visual perception processes. We design two types of Visual Perception Tokens, termed the Region Selection Token and the Vision Re-Encoding Token. MLLMs autonomously generate these tokens, just as they generate text, and use them to trigger additional visual perception actions. The Region Selection Token explicitly identifies specific regions in an image that require further perception, while the Vision Re-Encoding Token uses its hidden states as control signals to guide additional visual perception processes. Extensive experiments demonstrate the advantages of these tokens in handling spatial reasoning, improving fine-grained understanding, and other tasks. On average, the introduction of Visual Perception Tokens improves the performance of a 2B model by 23.6\%, increasing its score from 0.572 to 0.708, and even outperforms a 7B parameter model by 13.4\% (from 0.624). Please check out our repo https://github.com/yu-rp/VisualPerceptionToken
Abstract（参考訳）: 視覚情報を利用するために、MLLM(Multimodal Large Language Model)はその視覚エンコーダの知覚過程に依存している。視覚知覚の完全性と精度は、空間的推論の精度、きめ細かい理解、その他のタスクに大きな影響を及ぼす。しかし、MLLMには、画像の特定の領域を選択的にレビューしたり、特定の対象カテゴリに関連する情報にフォーカスするなど、独自の視覚認知プロセスを制御する自律的な能力がない。本研究では,視覚認知のプロセスを制御する機構を備えたMLLMの強化を目的とした,視覚知覚トークンの概念を提案する。本研究では、地域選択トークンと視覚再符号化トークンという2種類の視覚知覚トークンを設計する。 MLLMは、テキストを生成するのと同じように、これらのトークンを自律的に生成し、追加の視覚的知覚アクションをトリガーするためにそれらを使用する。領域選択トークンは、さらなる知覚を必要とする画像内の特定の領域を明確に識別する一方、ビジョン再符号化トークンは、その隠された状態を制御信号として使用して、追加の視覚知覚プロセスを導く。大規模な実験は、これらのトークンの利点を空間的推論の扱い、きめ細かい理解の改善、その他のタスクで示している。 Visual Perception Tokensの導入により、2Bモデルの性能は23.6\%向上し、スコアは0.572から0.708に向上し、さらに7Bパラメータモデルを13.4\%(0.624から)上回った。 repo https://github.com/yu-rp/VisualPerceptionToken

関連論文リスト

[CLS] Token Tells Everything Needed for Training-free Efficient MLLMs [66.5266435598799]
MLLM(Multi- Language Large Language Models)は、最近、広範囲の視覚タスクにおいて強力なパフォーマンスを示した。しかし、その効率的なデプロイメントは、高い計算コストとメモリ要求のため、依然として大きな課題である。本稿では,VTC圧縮という,列車不要の視覚圧縮のための簡易かつ効果的な手法を提案する。
論文参考訳（メタデータ） (2024-12-08T05:29:39Z)
Perception Tokens Enhance Visual Reasoning in Multimodal Language Models [19.338167943466853]
本稿では、言語が不十分なタスクの推論を支援するために設計された画像表現であるパーセプショントークンを紹介する。知覚トークンは、言語モデルにおけるチェーン・オブ・シークレットのプロンプトに似た補助的推論トークンとして機能する。 AURORAトレーニング手法は、視覚入力に対する推論を改善するために知覚トークンを増強する。
論文参考訳（メタデータ） (2024-12-04T18:45:35Z)
Spatial-Aware Efficient Projector for MLLMs via Multi-Layer Feature Aggregation [10.468784974994465]
マルチモーダル言語モデル(MLLM)におけるプロジェクタの役割プロジェクタに関する現在の調査では、効率を改善するために視覚トークンの数を減らすことに重点を置いている。この問題に対処するために空間認識効率プロジェクタ(SAEP)を提案する。
論文参考訳（メタデータ） (2024-10-14T09:25:09Z)
VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
論文参考訳（メタデータ） (2024-08-29T17:21:58Z)
Instruction Tuning-free Visual Token Complement for Multimodal LLMs [51.138806401996696]
マルチモーダルな大言語モデル(MLLM)は、視覚と言語の間のエレガントな橋渡しを約束している。本稿では,MLLM が欠落した視覚機能を取り戻すのに役立つ Visual Token Complement フレームワーク (VTC) を提案する。我々のVTCは、テキスト不関連特徴を特定するためのガイドとしてテキスト・ツー・イメージ生成を統合し、視覚的セレクタを開発し、補完的な視覚的トークンを生成する。
論文参考訳（メタデータ） (2024-08-09T12:13:01Z)
ControlMLLM: Training-Free Visual Prompt Learning for Multimodal Large Language Models [73.34709921061928]
マルチモーダル大言語モデル(MLLM)に視覚的プロンプトを注入する学習自由手法を提案する。我々は,エネルギー関数に基づいて学習可能な潜伏変数を最適化し,注目マップにおける参照領域の強度を高める。提案手法は,参照能力のMLLMへの統合に有望な方向を与え,ボックス,マスク,スクリブル,ポイントによる参照を支援する。
論文参考訳（メタデータ） (2024-07-31T11:40:29Z)
TokenPacker: Efficient Visual Projector for Multimodal LLM [37.1071749188282]
ビジュアルプロジェクタは、ビジュアルエンコーダとLarge Language Model(LLM)の間に必須のブリッジとして機能する。本稿では,密集した特徴を注入して凝縮した視覚トークンを生成するために,粗く細かなスキームを取り入れた新しいビジュアルプロジェクタを提案する。我々のアプローチでは、ビジュアルトークンを75%89%圧縮し、多様なベンチマークで同等またはさらに優れたパフォーマンスを実現しています。
論文参考訳（メタデータ） (2024-07-02T16:10:55Z)
Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
論文参考訳（メタデータ） (2024-06-07T17:55:43Z)
LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models [35.88374542519597]
大規模マルチモーダルモデル(LMM)は、視覚エンコーダと大きな言語モデルとを接続することで、視覚的推論能力を示す。近年のLMMには、高解像度の画像やビデオなど、より複雑な視覚入力が組み込まれており、視覚トークンの数が大幅に増加する。我々は,LMMの性能を損なうことなく,視覚トークンの数を著しく削減する適応型視覚トークン削減戦略であるPruMergeを提案する。
論文参考訳（メタデータ） (2024-03-22T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。