論文の概要: EaqVLA: Encoding-aligned Quantization for Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2505.21567v1
• Date: Tue, 27 May 2025 05:42:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.16899
• Title: EaqVLA: Encoding-aligned Quantization for Vision-Language-Action Models
• Title（参考訳）: EaqVLA:ビジョン・ランゲージ・アクションモデルのための符号化整列量子化
• Authors: Feng Jiang, Zihao Zheng, Xiuping Cui, Maoliang Li, JIayu Chen, Xiang Chen,
• Abstract要約: 本稿では,VLAモデルに符号化整合量子化を適用するEaqVLAというフレームワークを提案する。 EaqVLAは、既存の量子化法よりも優れた量子化性能(エンドツーエンドのアクション制御とxxx倍加速の最小量子化損失)を達成する。
• 参考スコア（独自算出の注目度）: 10.58181401714169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the development of Embodied Artificial intelligence, the end-to-end control policy such as Vision-Language-Action (VLA) model has become the mainstream. Existing VLA models faces expensive computing/storage cost, which need to be optimized. Quantization is considered as the most effective method which can not only reduce the memory cost but also achieve computation acceleration. However, we find the token alignment of VLA models hinders the application of existing quantization methods. To address this, we proposed an optimized framework called EaqVLA, which apply encoding-aligned quantization to VLA models. Specifically, we propose an complete analysis method to find the misalignment in various granularity. Based on the analysis results, we propose a mixed precision quantization with the awareness of encoding alignment. Experiments shows that the porposed EaqVLA achieves better quantization performance (with the minimal quantization loss for end-to-end action control and xxx times acceleration) than existing quantization methods.
• Abstract（参考訳）: Embodied AIの発展に伴い、ビジョン・ランゲージ・アクション(VLA)モデルのようなエンドツーエンドの制御ポリシーが主流となっている。 既存のVLAモデルは、最適化が必要な高価なコンピューティング/ストレージコストに直面している。 量子化は、メモリコストを削減できるだけでなく、計算の加速も達成できる最も効果的な方法であると考えられている。 しかし、VLAモデルのトークンアライメントは、既存の量子化手法の適用を妨げる。 そこで我々は,VLAモデルに符号化整合量子化を適用するEaqVLAというフレームワークを提案する。 具体的には,様々な粒度の誤認識を見つけるための完全な解析手法を提案する。 解析結果に基づいて,符号化アライメントを意識した混合精度量子化を提案する。 実験により、Porposed EaqVLAは既存の量子化法よりも優れた量子化性能(エンドツーエンドの動作制御における最小量子化損失とxxx倍加速)が得られることが示された。

関連論文リスト

• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
  本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。 視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。 実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
  論文  参考訳（メタデータ） (2024-10-10T17:02:48Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• Adaptive quantization with mixed-precision based on low-cost proxy [8.527626602939105]
  本稿では,Low-Cost Proxy-Based Adaptive Mixed-Precision Model Quantization (LCPAQ) と呼ばれる新しいモデル量子化法を提案する。 ハードウェア対応モジュールはハードウェアの制約を考慮して設計され、適応型混合精度量子化モジュールは量子化感度を評価するために開発された。 ImageNetの実験では、提案したLCPAQが既存の混合精度モデルに匹敵するあるいは優れた量子化精度を達成している。
  論文  参考訳（メタデータ） (2024-02-27T17:36:01Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• QuantEase: Optimization-based Quantization for Language Models [17.333778751252392]
  本研究は,近年のLarge Language Models (LLMs) の進歩から,様々な量子化層の量子化(PTQ)を導入する。 当社のCDベースのアプローチは、ベクター操作にのみ依存して、簡単にアップデートできる。 我々はまた、完全な精度で重要な重量(外積)を維持することができるような、外れ値のアプローチも検討している。
  論文  参考訳（メタデータ） (2023-09-05T01:39:09Z)
• VecQ: Minimal Loss DNN Model Compression With Vectorized Weight Quantization [19.66522714831141]
  我々は、最小の直接量子化損失とモデル精度を保証できるVecQと呼ばれる新しい量子化ソリューションを開発した。 また,学習中に提案した量子化過程を高速化するために,パラメータ化推定と確率ベース計算を用いて量子化過程を高速化する。
  論文  参考訳（メタデータ） (2020-05-18T07:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。