論文の概要: WSVD: Weighted Low-Rank Approximation for Fast and Efficient Execution of Low-Precision Vision-Language Models

• arxiv url: http://arxiv.org/abs/2604.02570v1
• Date: Thu, 02 Apr 2026 22:49:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.239935
• Title: WSVD: Weighted Low-Rank Approximation for Fast and Efficient Execution of Low-Precision Vision-Language Models
• Title（参考訳）: WSVD:低精度ビジョンランゲージモデルの高速かつ効率的な実行のための軽量低ランク近似
• Authors: Haiyu Wang, Yutong Wang, Jack Jiang, Sai Qian Zhang,
• Abstract要約: 特異値分解(SVD)は視覚言語モデル(VLM)の計算負担を軽減する重要な手法となっている。 我々は,新しい計算パターンを導入し,SVDをより微細な粒度で適用し,実行遅延のリアルタイムかつ測定可能な改善を可能にする。 我々はtextitWeighted SVD (WSVD) を導入し、精度を保ちながら1.8時間以上のデコードスピードアップを達成し、他のアプローチよりも優れています。
• 参考スコア（独自算出の注目度）: 12.679057463090148
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Singular Value Decomposition (SVD) has become an important technique for reducing the computational burden of Vision Language Models (VLMs), which play a central role in tasks such as image captioning and visual question answering. Although multiple prior works have proposed efficient SVD variants to enable low-rank operations, we find that in practice it remains difficult to achieve substantial latency reduction during model execution. To address this limitation, we introduce a new computational pattern and apply SVD at a finer granularity, enabling real and measurable improvements in execution latency. Furthermore, recognizing that weight elements differ in their relative importance, we adaptively allocate relative importance to each element during SVD process to better preserve accuracy, then extend this framework with quantization applied to both weights and activations, resulting in a highly efficient VLM. Collectively, we introduce~\textit{Weighted SVD} (WSVD), which outperforms other approaches by achieving over $1.8\times$ decoding speedup while preserving accuracy. We open source our code at: \href{https://github.com/SAI-Lab-NYU/WSVD}{\texttt{https://github.com/SAI-Lab-NYU/WSVD}
• Abstract（参考訳）: 画像キャプションや視覚質問応答といったタスクにおいて中心的な役割を果たす視覚言語モデル(VLM)の計算負担を軽減する重要な手法として,SVD(Singular Value Decomposition)が注目されている。 複数の先行研究で低ランク演算を実現するための効率的なSVD変種が提案されているが、実際にはモデル実行中に相当な遅延低減を実現することは困難である。 この制限に対処するため、我々は新しい計算パターンを導入し、SVDをより細かい粒度で適用し、実行遅延のリアルタイムかつ測定可能な改善を可能にする。 さらに,重み要素の相対的重要性の違いを認識し,SVDプロセス中の各要素に対して相対的重要性を適応的に割り当てて精度を向上し,重みとアクティベーションの両方に適用した量子化により,高効率なVLMを実現する。 総括的に、精度を保ちながら1.8\times$デコードスピードアップを達成し、他のアプローチよりも優れる~\textit{Weighted SVD} (WSVD) を導入する。 私たちは以下のコードをオープンソースにしています。 \href{https://github.com/SAI-Lab-NYU/WSVD}{\textt{https://github.com/SAI-Lab-NYU/WSVD}

関連論文リスト

• Efficient Long-Horizon Vision-Language-Action Models via Static-Dynamic Disentanglement [27.517125673741486]
  VLA(Vision-Language-Action)モデルは、汎用的なロボット制御のための有望なパラダイムとして登場した。 マルチレベル静的および動的トークンに視覚入力をアンタングルするフレームワークであるSD-VLAを提案する。 本稿では,VLAの長期時間依存性モデリング機能をより効果的に評価する新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2026-02-03T20:17:47Z)
• QSVD: Efficient Low-rank Approximation for Unified Query-Key-Value Weight Compression in Low-Precision Vision-Language Models [13.850959421148273]
  VLM(Vision-Language Models)は、画像キャプションや視覚的質問応答といったタスクに不可欠なモデルである。 大規模なメモリフットプリントと処理時間によって駆動される高い計算コストは、スケーラビリティとリアルタイム適用性を制限します。 結合クエリ(Q),キー(K),値(V)重み行列に対して,Singular-Value Decomposition(SVD)を活用することで,KVキャッシュサイズと計算オーバーヘッドを低減することを提案する。
  論文  参考訳（メタデータ） (2025-10-18T01:31:14Z)
• AdaSVD: Adaptive Singular Value Decomposition for Large Language Models [75.1196637934987]
  Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。 既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。 適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
  論文  参考訳（メタデータ） (2025-02-03T14:34:37Z)
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)
• Multimodal Adaptive Distillation for Leveraging Unimodal Encoders for Vision-Language Tasks [118.49566068398642]
  視覚言語(VL)タスクのためのクロスモーダルエンコーダは、しばしば注意深く計算された視覚言語データセットで事前訓練される。 一様エンコーダは、コスト抑制の少ない単純なアノテーションで事前訓練され、数十億から数十億のスケールを達成する。 我々は,事前学習したエンコーダから多モードVLエンコーダへの有用な知識を適応的に蒸留するマルチモーダル適応蒸留(MAD)を提案する。
  論文  参考訳（メタデータ） (2022-04-22T04:41:04Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。