論文の概要: Efficient Quantization-Aware Distillation with Cross-Modal Alignment for Edge Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.16689v1
• Date: Tue, 15 Sep 2026 06:12:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.370562
• Title: Efficient Quantization-Aware Distillation with Cross-Modal Alignment for Edge Vision-Language Models
• Title（参考訳）: エッジビジョンランゲージモデルのためのクロスモーダルアライメントを用いた効率的な量子化対応蒸留
• Abstract要約: CLIPのような大規模視覚言語モデル(VLM)は、強力なオープン語彙推論を可能にする。 リソース制約のあるエッジデバイスにこれらの機能をデプロイすることは、依然として難しい。 本稿では,エッジ展開に適した定量化セマンティック蒸留のための統合フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 15.090055978780901
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale vision-language models (VLM) such as CLIP enable strong open-vocabulary reasoning, yet deploying these capabilities on resource-constrained edge devices remains challenging. EdgeVL addresses this problem by distilling CLIP representations into lightweight multi-modal encoders and applying quantization-aware training (QAT) for efficient Open-Vocabulary Classification (OVC) on edge hardware. However, its two-stage optimization applies different objectives for distillation and QAT, and contrastive learning is performed within the quantized student space, which can result in inconsistent optimization and reduced training efficiency. Moreover, identical supervision across RGB and non-RGB modalities may lead to modality imbalance. We propose a unified framework for quantized semantic distillation tailored to edge deployment. By jointly optimizing distillation and quantization within a unified teacher-anchored framework, our method ensures consistent training under quantization, suppressing hard negatives and enlarging decision margins. Additionally, we design a lightweight cross-attention adapter that enhances non-RGB representations through RGB-guided semantic transfer, narrowing the modality gap. Extensive experiments demonstrate consistent improvements on non-RGB modalities while maintaining deployment efficiency.
• Abstract（参考訳）: CLIPのような大規模視覚言語モデル(VLM)は、強力なオープン語彙推論を可能にするが、リソース制約のあるエッジデバイスにこれらの機能をデプロイすることは依然として困難である。 EdgeVLは、CLIP表現を軽量なマルチモーダルエンコーダに蒸留し、エッジハードウェア上で効率的なOpen-Vocabulary Classification(OVC)に量子化対応トレーニング(QAT)を適用することでこの問題に対処する。 しかし、その2段階最適化は蒸留とQATの異なる目的に適用され、量子化された学生空間内でコントラスト学習が行われ、不整合最適化とトレーニング効率の低下をもたらす。 さらに、RGBおよび非RGBモダリティに対する同一の監督は、モダリティの不均衡を引き起こす可能性がある。 本稿では,エッジ展開に適した定量化セマンティック蒸留のための統合フレームワークを提案する。 統合された教師・教師の枠組みで蒸留と定量化を共同で最適化することにより, 定量化による一貫したトレーニングを確実にし, 強みを抑え, 意思決定マージンを大きくする。 さらに,RGB誘導セマンティックトランスファーによる非RGB表現を強化し,モダリティギャップを狭める軽量なクロスアテンションアダプタを設計する。 大規模な実験は、デプロイ効率を維持しながら、RGB以外のモダリティを一貫した改善を示す。

関連論文リスト

• Improving Visual Representation Alignment Generation with GRPO [51.071351994330605]
  拡散変換器は強い画像合成能力を示したが、弱いアライメントのため、列車には非効率である。 本稿では,REPAの静的アライメント損失を生成的表現ポリシー最適化の目的に置き換える,強化に基づく最適化戦略であるVRPOを提案する。 当社のVRPO駆動トレーニングは拡散トランスフォーマーにシームレスに統合され、無視可能なコストを導入し、SiTとDiTアーキテクチャとの完全な互換性を維持します。
  論文  参考訳（メタデータ） (2026-05-30T07:21:40Z)
• A KL Lens on Quantization: Fast, Forward-Only Sensitivity for Mixed-Precision SSM-Transformer Models [9.31160191200499]
  エッジデバイス上の大規模言語モデル(LLM)は、計算とメモリの厳しい制約に直面している。 量子化誘起劣化に最も敏感なハイブリッドSSM-トランスフォーマーコンポーネントを同定するための,軽量でバックプロパゲーションフリーなサロゲート型感度分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-15T03:40:30Z)
• LQA: A Lightweight Quantized-Adaptive Framework for Vision-Language Models on the Edge [12.772499009055194]
  視覚言語モデル(VLM)のための軽量で量子化された適応型フレームワークを提案する。 本稿では、SHQ(Selective Hybrid Quantization)と、リソース制約のあるハードウェア上での堅牢で効率的なVLMデプロイメントを実現するために、量子化・勾配なし適応機構を導入する。 実験の結果、LQAは全体の適応性能を4.5%改善し、メモリ使用量を減らし、勾配ベースのTTA法よりも大幅に向上した。
  論文  参考訳（メタデータ） (2026-02-08T07:37:37Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Causal Disentanglement and Cross-Modal Alignment for Enhanced Few-Shot Learning [11.752632557524969]
  Causal CLIP Adapter(CCA)は、CLIPから抽出された視覚的特徴を明示的に分離する新しいフレームワークである。 本手法は, 分散シフトに対する数ショット性能とロバスト性の観点から, 常に最先端の手法より優れる。
  論文  参考訳（メタデータ） (2025-08-05T05:30:42Z)
• Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
  本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。 自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。 Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-23T03:21:33Z)
• Locality-aware Surrogates for Gradient-based Black-box Optimization [5.541187309945154]
  モデルベースブラックボックス最適化のための局所性を考慮した代理モデルを提案する。 まず、勾配アライメントと勾配経路積分方程式損失の最小化との理論的関係を確立する。 我々はGradPIE損失を最小限に抑えるスケーラブルなトレーニングアルゴリズムを開発し、オフラインとオンライン両方の学習を可能にした。
  論文  参考訳（メタデータ） (2025-01-31T14:28:47Z)
• Efficient Real-world Image Super-Resolution Via Adaptive Directional Gradient Convolution [80.85121353651554]
  畳み込みカーネル内でのカーネル単位の微分演算を導入し、学習可能な方向勾配畳み込みを開発する。 これらの畳み込みは、新しい線形重み付け機構と平行に統合され、適応方向勾配畳み込み(DGConv)を形成する。 さらに,適応情報相互作用ブロック(AIIBlock)を設計し,テクスチャとコントラストの強化のバランスをとるとともに,相互依存性を慎重に検討し,単純な積み重ねによるリアルSRのためのDGPNetを作成する。
  論文  参考訳（メタデータ） (2024-05-11T14:21:40Z)
• Self-Adapting Large Visual-Language Models to Edge Devices across Visual Modalities [11.53488611812612]
  近年のVision-Language(VL)モデルの進歩は、エッジデバイスへの展開への関心を喚起している。 We introduced EdgeVL, a novel framework that seamlessly integrates dual-modality knowledge distillation and Quantization-aware contrastive learning。 私たちの研究は、エッジデプロイメントに大規模なVLモデルを適応するための最初の体系的な取り組みであり、複数のデータセットで最大15.4%の精度向上と、最大93倍のモデルサイズ削減を示している。
  論文  参考訳（メタデータ） (2024-03-07T21:34:40Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。