Fugu-MT 論文翻訳(概要): Retrieval Replace Reduction: An effective visual token reduction method via semantic match

論文の概要: Retrieval Replace Reduction: An effective visual token reduction method via semantic match

arxiv url: http://arxiv.org/abs/2410.07278v1
Date: Wed, 9 Oct 2024 07:13:22 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 21:16:57.374845
Title: Retrieval Replace Reduction: An effective visual token reduction method via semantic match
Title（参考訳）: 検索リプレース削減:意味マッチングによる効果的な視覚的トークン削減手法
Authors: Yingen Liu, Fan Wu, Ruihui Li, Zhuo Tang, Kenli Li,
Abstract要約: textbfTRSM (textbfToken textbfReduction via textbfSemantic textbfMatch)を導入し,MLLMの性能を損なうことなく視覚トークンの数を効果的に削減する。 TRSMは、人間がマルチモーダルタスクを処理する方法に触発され、あるモダリティから意味情報を活用して、関連するセマンティクスを別のモダリティにマッチさせ、視覚トークンの数を減らす。実験結果に基づいて,視覚的トークンを20%圧縮し,多様な視覚的質問応答タスクと推論タスクに匹敵する性能を実現する。
参考スコア（独自算出の注目度）: 32.33892531885448
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal large language models (MLLMs) have demonstrated strong performance across various tasks without requiring training from scratch. However, they face significant computational and memory constraints, particularly when processing multimodal inputs that exceed context length, limiting their scalability. In this paper, we introduce a new approach, \textbf{TRSM} (\textbf{T}oken \textbf{R}eduction via \textbf{S}emantic \textbf{M}atch), which effectively reduces the number of visual tokens without compromising MLLM performance. Inspired by how humans process multimodal tasks, TRSM leverages semantic information from one modality to match relevant semantics in another, reducing the number of visual tokens.Specifically, to retain task relevant visual tokens, we use the text prompt as a query vector to retrieve the most similar vectors from the visual prompt and merge them with the text tokens. Based on experimental results, when applied to LLaVA-1.5\cite{liu2023}, our approach compresses the visual tokens by 20\%, achieving comparable performance across diverse visual question-answering and reasoning tasks.
Abstract（参考訳）: MLLM(Multimodal large language model)は、スクラッチからトレーニングを必要とせず、様々なタスクに強いパフォーマンスを示す。しかし、特にコンテキスト長を超えるマルチモーダル入力を処理する際には、計算量やメモリの制約がかなり大きい。本稿では, MLLMの性能を損なうことなく, 視覚的トークンの数を効果的に削減できる新しいアプローチ, \textbf{TRSM} (\textbf{T}oken \textbf{R}eduction via \textbf{S}emantic \textbf{M}atch) を提案する。 TRSMは、人間のマルチモーダルタスクの処理方法にインスパイアされ、あるモダリティからのセマンティック情報を活用して、関連するセマンティクスを別のモダリティでマッチングし、視覚トークンの数を減らし、特に、タスクに関連する視覚トークンを格納するために、クエリベクトルとしてテキストプロンプトを使用し、視覚プロンプトから最も類似したベクトルを検索し、テキストトークンとマージする。実験結果から,LLaVA-1.5\cite{liu2023} に適用した場合,視覚トークンを 20 % 圧縮し,多様な視覚的質問応答および推論タスクにおいて同等の性能を実現する。

関連論文リスト

Efficient and Effective Prompt Tuning via Prompt Decomposition and Compressed Outer Product [8.014705094248589]
低パラメータプロンプトチューニング法は、PT法とLoRA法で性能と効率を向上する。 6つのアーキテクチャと8つのデータセットにわたる実験により、LAMPはパフォーマンスと効率において、最先端のPTベースのメソッドとLoRAベースのメソッドより優れていることが示された。
論文参考訳（メタデータ） (2025-02-16T05:50:12Z)
Learning Free Token Reduction for Multi-Modal LLM [3.4026156483879517]
VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な成功を収めている。しかし、それらの実践的な展開は、しばしば高い計算コストと長期の推論時間によって制約される。本稿では,空間次元と時間次元の両方で動作するトークン圧縮パラダイムを提案する。
論文参考訳（メタデータ） (2025-01-29T02:52:32Z)
FOLDER: Accelerating Multi-modal Large Language Models with Enhanced Performance [7.889590793589825]
視覚トークン列の長さを削減するために設計された,シンプルで効果的なプラグアンドプレイモジュールであるFOLDERを紹介する。我々は、異なる還元戦略によってもたらされた情報損失を分析し、視覚的冗長性を取り除きながら鍵情報を保存するFOLDERを開発した。 FOLDERは、オリジナルのモデルと同等またはそれ以上のパフォーマンスを達成すると同時に、最大70%のビジュアルトークンを削除することで、複雑さを劇的に低減する。
論文参考訳（メタデータ） (2025-01-05T03:28:45Z)
Efficient Multi-modal Large Language Models via Visual Token Grouping [55.482198808206284]
高解像度の画像やビデオは、彼らの広く普及するための障壁となる。 MLLMにおける視覚トークンの圧縮は、推論コストを削減するための有望なアプローチとして現れている。本稿では,事前学習した視覚エンコーダの能力を利用して類似画像セグメントをグループ化する,新たなグループ化機構であるVisToGを紹介する。
論文参考訳（メタデータ） (2024-11-26T09:36:02Z)
FocusLLaVA: A Coarse-to-Fine Approach for Efficient and Effective Visual Token Compression [45.37530855889661]
高解像度画像は、多モード大言語モデルに入力される視覚トークンの数を2次的に増加させる。現在の研究は、しばしば性能を犠牲にして、効率を改善するために視覚的トークン圧縮法を開発している。情報密度の低い冗長領域を圧縮する視覚誘導型サンプルラと、ユーザ指示と強く相関する視覚トークンを選択するテキスト誘導型サンプルラとを用いて、粗大な視覚トークン圧縮法を構築する。
論文参考訳（メタデータ） (2024-11-21T15:37:52Z)
Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
論文参考訳（メタデータ） (2024-10-10T17:02:48Z)
Restore Anything Model via Efficient Degradation Adaptation [129.38475243424563]
RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。 RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
論文参考訳（メタデータ） (2024-07-18T10:26:53Z)
Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
論文参考訳（メタデータ） (2024-06-24T15:55:59Z)
Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
論文参考訳（メタデータ） (2024-01-11T03:08:00Z)
ParaFormer: Parallel Attention Transformer for Efficient Feature Matching [8.552303361149612]
本稿ではParaFormerという新しい並列アテンションモデルを提案する。振幅と位相という概念を通じて特徴とキーポイントの位置を融合させ、平行して自己と横断性を統合する。ホモグラフィー推定、ポーズ推定、画像マッチングなど様々な応用実験により、ParaFormerが最先端の性能を達成することを示す。効率のよいParaFormer-Uは、既存のアテンションベースモデルの50%未満のFLOPで同等のパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-03-02T03:29:16Z)
Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
論文参考訳（メタデータ） (2022-09-14T22:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。