Fugu-MT 論文翻訳(概要): CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference

論文の概要: CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference

arxiv url: http://arxiv.org/abs/2404.08567v1
Date: Tue, 2 Apr 2024 04:35:35 GMT
ステータス: 処理完了
システム内更新日: 2024-04-21 20:14:16.626093
Title: CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference
Title（参考訳）: CATP: 精度保存型マルチモーダルモデル推論のためのクロスアテンショントケンプルーニング
Authors: Ruqi Liao, Chuqing Zhao, Jin Li, Weiqi Feng,
Abstract要約: 本稿では,高精度なトークンプルーニング手法であるクロスアテンショントークンプルーニング(CATP)を紹介する。評価では、CATPは既存のトークンプルーニング法と比較して最大12.1倍高い精度を達成する。
参考スコア（独自算出の注目度）: 5.592224613673458
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In response to the rising interest in large multimodal models, we introduce Cross-Attention Token Pruning (CATP), a precision-focused token pruning method. Our approach leverages cross-attention layers in multimodal models, exemplified by BLIP-2, to extract valuable information for token importance determination. CATP employs a refined voting strategy across model heads and layers. In evaluations, CATP achieves up to 12.1X higher accuracy compared to existing token pruning methods, addressing the trade-off between computational efficiency and model precision.
Abstract（参考訳）: 大規模マルチモーダルモデルへの関心が高まり,高精度なトークンプルーニング手法であるクロスアテンショントークンプルーニング(CATP)を導入する。本手法は,BLIP-2で実証したマルチモーダルモデルのクロスアテンション層を利用して,トークンの重要度決定に有用な情報を抽出する。 CATPはモデルヘッドと層をまたいだ洗練された投票戦略を採用している。評価において、CATPは既存のトークンプルーニング法と比較して最大12.1倍の精度を達成し、計算効率とモデル精度のトレードオフに対処する。

関連論文リスト

Stepwise Perplexity-Guided Refinement for Efficient Chain-of-Thought Reasoning in Large Language Models [56.37421741507468]
CoT推論は大規模言語モデル(LLM)の性能を大幅に向上させた。本稿では,その重要性の尺度としてパープレキシティを用いた批判的推論ステップの同定手法を提案する。
論文参考訳（メタデータ） (2025-02-18T20:04:51Z)
Active Data Curation Effectively Distills Large-Scale Multimodal Models [66.23057263509027]
知識蒸留(KD)は、大規模モデルをより小さなものに圧縮するデファクトスタンダードである。本研究では, 対照的なマルチモーダル事前学習のための効果的な蒸留法として, 能動的データキュレーションの代替として, 簡単なアプローチを探求する。我々の単純なオンラインバッチ選択方法であるACIDは、さまざまなモデル、データ、計算構成において、強力なKDベースラインよりも優れています。
論文参考訳（メタデータ） (2024-11-27T18:50:15Z)
Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
論文参考訳（メタデータ） (2024-10-10T17:02:48Z)
Memory-Efficient Fine-Tuning for Quantized Diffusion Model [12.875837358532422]
本稿では,量子化拡散モデルのためのメモリ効率の良い微調整手法であるTuneQDMを紹介する。提案手法は, 単目的/多目的の両方の世代において, ベースラインを一貫して上回る。
論文参考訳（メタデータ） (2024-01-09T03:42:08Z)
Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文参考訳（メタデータ） (2023-06-27T05:43:47Z)
PruMUX: Augmenting Data Multiplexing with Model Compression [42.89593283051397]
本稿では、構造化プルーニングとデータ多重化という2つの手法を組み合わせて、どちらの手法でも得られる高速化ゲインを合成する。我々のアプローチであるPruMUXは、精度が80%から74%のBERTベースモデルよりも7.5-29.5倍のスループット向上を実現している。我々は,所望の精度損失予算を条件として,プルーニングと多重化の高性能パラメータを予測できるメタレベルモデルであるAuto-PruMUXを提案する。
論文参考訳（メタデータ） (2023-05-24T04:22:38Z)
Mitigating Spurious Correlations in Multi-modal Models during Fine-tuning [18.45898471459533]
モデル一般化を低下させたり、間違った理由でモデルが正しいことを導いたという豪華な相関は、現実世界のデプロイメントにおいて大きな堅牢性に関する懸念の1つです。本稿では,特定の関心領域の微調整において,刺激的な相関に対処する新しい手法を提案する。
論文参考訳（メタデータ） (2023-04-08T05:20:33Z)
IPCC-TP: Utilizing Incremental Pearson Correlation Coefficient for Joint Multi-Agent Trajectory Prediction [73.25645602768158]
IPCC-TPはインクリメンタルピアソン相関係数に基づく新しい関連認識モジュールであり,マルチエージェントインタラクションモデリングを改善する。我々のモジュールは、既存のマルチエージェント予測手法に便利に組み込んで、元の動き分布デコーダを拡張することができる。
論文参考訳（メタデータ） (2023-03-01T15:16:56Z)
Evaluating Representations with Readout Model Switching [19.907607374144167]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文参考訳（メタデータ） (2023-02-19T14:08:01Z)
Learning to Perform Downlink Channel Estimation in Massive MIMO Systems [72.76968022465469]
大規模マルチインプット・マルチアウトプット(MIMO)システムにおけるダウンリンク(DL)チャネル推定について検討する。一般的なアプローチは、チャネル硬化によって動機付けられた推定値として平均値を使用することである。本稿では2つの新しい推定法を提案する。
論文参考訳（メタデータ） (2021-09-06T13:42:32Z)
Scaling Bayesian inference of mixed multinomial logit models to very large datasets [9.442139459221785]
本稿では,バックプロパゲーション,自動微分,GPU加速計算を活用するアモルティファイド変分推論手法を提案する。本研究では, 後部近似の柔軟性を高めるために, フローの正規化がいかに有効かを示す。
論文参考訳（メタデータ） (2020-04-11T15:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。