論文の概要: UniCompress: From Multi-LoRA Experts to One Compact Model for Edge Intelligence
- arxiv url: http://arxiv.org/abs/2611.06075v1
- Date: Wed, 04 Nov 2026 07:18:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.011752
- Title: UniCompress: From Multi-LoRA Experts to One Compact Model for Edge Intelligence
- Title(参考訳): UniCompress:マルチLORAの専門家からエッジインテリジェンスのための1つのコンパクトモデルへ
- Abstract要約: エンボディードとエッジシステムは多種多様なスキルをサポートするために視覚言語モデル(VLM)に依存している。
マルチタスクの専門知識を1つのコンパクトなアダプタフリーモデルに変換する,デプロイ指向フレームワークUniCompressを提案する。
- 参考スコア(独自算出の注目度): 5.736823800271467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embodied and edge systems increasingly rely on vision-language models (VLMs) to support heterogeneous skills, yet deploying a separate task adapter for each skill while retaining a high-precision backbone creates substantial memory and management costs. We present UniCompress, a deployment-oriented framework that converts multi-task expertise into one compact, adapter-free model. Starting from a consolidated BF16 Qwen3-VL-4B teacher, UniCompress constructs an asymmetric INT2 student using GPTQ initialization and teacher-guided quantization recovery. The approach jointly quantizes and recovers the projection weights in the vision encoder and language backbone, enabling aggressive compression of the complete vision-language model while preserving its multi-task behavior. We evaluate UniCompress on four heterogeneous embodied tasks: posture recognition, household-safety understanding, multimodal dialogue routing, and mobile-GUI action prediction. UniCompress reduces the approximate weight storage from 8.9 GB in BF16 to 2.1 GB in INT2, corresponding to a reduction of approximately 76%. It improves the INT2 macro task score by 34.3 percentage points over GPTQ-INT2 while remaining within 0.9 points of the consolidated BF16 teacher. These results demonstrate the potential of teacher-guided joint vision-language INT2 recovery for deploying a single multi-skill VLM on resource-constrained embodied platforms.
- Abstract(参考訳): エンボディードとエッジシステムは多種多様なスキルをサポートするために視覚言語モデル (VLM) をますます頼りにしているが、高い精度のバックボーンを維持しながら各スキルに個別のタスクアダプタを配置すると、かなりのメモリと管理コストが生じる。
マルチタスクの専門知識を1つのコンパクトなアダプタフリーモデルに変換する,デプロイ指向フレームワークUniCompressを提案する。
UniCompressは統合されたBF16 Qwen3-VL-4B教師から始まり、GPTQ初期化と教師誘導量子化回復を用いて非対称INT2学生を構築する。
この手法は、視覚エンコーダと言語バックボーンの投影重みを共同で定量化し、そのマルチタスク動作を保ちながら、完全な視覚言語モデルの積極的な圧縮を可能にする。
We evaluate UniCompress on four heterogeneous embodied tasks: posture recognition, household-safety understanding, multimodal dialogue routing, and mobile-GUI action prediction。
UniCompressはBF16の8.9GBからINT2の2.1GBに減らし、約76%に減らした。
INT2マクロタスクスコアはGPTQ-INT2よりも34.3ポイント向上し、統合されたBF16教師の0.9ポイントに留まる。
これらの結果は,教師が指導する共同視覚言語INT2リカバリの可能性を示している。
関連論文リスト
- OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory [95.76490979359288]
マルチモーダル大言語モデル (MLLM) は視覚的推論において急速に進歩している。
多くのタスクは、内部理性だけでは入手が難しい証拠を必要とする。
機能層と永続型マルチモーダルメモリを中心に構成されたマルチモーダル推論ハーネスであるOpenVLHarnessを紹介する。
論文 参考訳(メタデータ) (2026-10-19T17:59:58Z) - Progressive Multi-Ancestor Bit-Depth Distillation [5.975445385072139]
我々は、textbfProgressive textbfMulti-textbfAncestor textbfBit-depth textbfDistillationとして知られる統一されたフレームワークを提案する。
高い精度の祖先教師のプールを通じて知識を伝達しながら、ネットワークを圧縮する。
論文 参考訳(メタデータ) (2026-10-02T22:09:35Z) - Motif 3: Technical Report [26.937626894426916]
トークン毎に合計314億のパラメータと132億のアクティベートを持つデコーダのみのMixture-of-Experts言語モデルを導入する。
MoEレイヤには384のルーティング専門家が含まれており、トークン毎に8つの選択がある。
我々は、Webドキュメント、STEM、コード、数学、多言語コンテンツ、ドメイン特化コーパスにまたがる約12.5兆のトークンでMotif 3を事前訓練する。
論文 参考訳(メタデータ) (2026-08-10T04:53:05Z) - StepX-Edge: An On-Device UI Vision-Language Model via Architecture-Training-Deployment Co-Design [8.502778898017556]
StepX-Edgeは、デバイス上のUIビジョン言語モデルで、コグニティブな3つのアーキテクチャ、トレーニング、デプロイメントを通じて緊張を解消します。
トレーニングには,UIサブタスク間の相互動作効果の観察を中心に,5段階のStepX-Curriculumフレームワークを設計する。
デプロイでは、モジュール単位で異なる2段階のPTQ-to-QAT量子化方式により、後量子化精度の損失を1%に抑える。
論文 参考訳(メタデータ) (2026-07-20T14:14:44Z) - UniWeTok: An Unified Binary Tokenizer with Codebook Size $\mathit{2^{128}}$ for Unified Multimodal Large Language Model [50.68870074090426]
我々はUniWeTokを紹介した。UniWeTokはUniified Multimodal Large Language Modelsのための統一された離散トークンである。
トレーニングフレームワークとして,個別トークンのセマンティックな抽出と生成を促進するために,プレポスト蒸留とジェネレーティブ・アウェア・プレファレンスを導入する。
我々は,UniWeTokの適応性を高めるために,様々な画像解像度と知覚に敏感なシナリオを横断する3段階のトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-15T15:07:19Z) - DeepGen 1.0: A Lightweight Unified Multimodal Model for Advancing Image Generation and Editing [67.77471070868852]
DeepGen 1.0は、画像生成と編集のための軽量な5B統一モデルである。
わずか5000万のサンプルでトレーニングされており、WISEでは80BのHunyuan Imageを28%、UniREditBenchでは27BのQwen-Image-Editを37%上回っている。
トレーニングコード、ウェイト、データセットをオープンソース化することで、統合マルチモーダルリサーチを民主化する、効率的で高性能な代替手段を提供します。
論文 参考訳(メタデータ) (2026-02-12T17:44:24Z) - UniTok: A Unified Tokenizer for Visual Generation and Understanding [63.23796622553615]
視覚生成および理解モデルは通常、画像を処理するために異なるトークン化器に依存する。
我々は、新しいマルチコードブック量子化機構を備えた統一トークン化システムUniTokを紹介する。
最終的なパフォーマンスに関しては、UniTokはImageNetで0.38 rFIDと78.6%のゼロショット精度で新記録を樹立した。
論文 参考訳(メタデータ) (2025-02-27T17:47:01Z) - CoSCL: Cooperation of Small Continual Learners is Stronger than a Big
One [40.32426713582231]
連続学習における可塑性学習の一般化誤差と記憶安定性を解析する。
複数の並列部分で逐次体験を処理できる頑健な生物学的学習システムに着想を得て,小連続学習者の連携を提案する。
CoSCLは、様々な連続学習アプローチを大きなマージンで改善することができる。
論文 参考訳(メタデータ) (2022-07-13T23:00:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。