論文の概要: Post-training quantization of vision encoders needs prefixing registers

• arxiv url: http://arxiv.org/abs/2510.04547v1
• Date: Mon, 06 Oct 2025 07:27:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.726722
• Title: Post-training quantization of vision encoders needs prefixing registers
• Title（参考訳）: 視覚エンコーダの学習後量子化にはプレフィックスレジスタが必要である
• Authors: Seunghyeon Kim, Jinho Kim, Taesun Yeom, Wonpyo Park, Kyuyeun Kim, Jaeho Lee,
• Abstract要約: 視覚エンコーダの出力を緩和するトレーニングフリーアルゴリズムを提案する。 提案されたRegCacheは、ターゲットのビジョンエンコーダに、アウトレイラを起こしながら意味的に意味のないプレフィックストークンを導入している。 本手法は,テキスト教師と自己教師付き視覚エンコーダの両面において,量子化モデルの精度を常に向上させる。
• 参考スコア（独自算出の注目度）: 9.5677950128084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based vision encoders -- such as CLIP -- are central to multimodal intelligence, powering applications from autonomous web agents to robotic control. Since these applications often demand real-time processing of massive visual data, reducing the inference cost of vision encoders is critical. Post-training quantization offers a practical path, but remains challenging even at 8-bit precision due to massive-scale activations (i.e., outliers). In this work, we propose $\textit{RegCache}$, a training-free algorithm to mitigate outliers in vision encoders, enabling quantization with significantly smaller accuracy drops. The proposed RegCache introduces outlier-prone yet semantically meaningless prefix tokens to the target vision encoder, which prevents other tokens from having outliers. Notably, we observe that outliers in vision encoders behave differently from those in language models, motivating two technical innovations: middle-layer prefixing and token deletion. Experiments show that our method consistently improves the accuracy of quantized models across both text-supervised and self-supervised vision encoders.
• Abstract（参考訳）: トランスフォーマーベースの視覚エンコーダ(CLIPなど)はマルチモーダルインテリジェンスの中心であり、自律的なWebエージェントからロボット制御まで、アプリケーションを動かす。 これらのアプリケーションは、しばしば大量の視覚データのリアルタイム処理を必要とするため、視覚エンコーダの推論コストの削減が重要である。 ポストトレーニング量子化は実践的な経路を提供するが、大規模なアクティベーション(すなわち、外れ値)のために8ビットの精度でも困難である。 本研究では,視覚エンコーダの外部化を緩和するトレーニングフリーアルゴリズムである$\textit{RegCache}$を提案する。 提案されたRegCacheでは、ターゲットのビジョンエンコーダに、アウトレイアが発生しても意味をなさないプレフィックストークンを導入している。 特に、視覚エンコーダの外れ値が言語モデルと異なる振る舞いをしており、中間層プレフィックスとトークン削除という2つの技術革新を動機付けている。 実験の結果,本手法はテキスト・教師あり・自己教師あり両ビジョン・エンコーダ間の量子化モデルの精度を常に向上することがわかった。

関連論文リスト

• METEOR: Multi-Encoder Collaborative Token Pruning for Efficient Vision Language Models [92.37117312251755]
  プログレッシブプルーニングフレームワークであるMulti-Encoder collaboraTivE tOken pRuning (METEOR)を提案する。 マルチビジョン符号化では,各エンコーダ内の冗長トークンをランク誘導型協調トークン代入戦略により破棄する。 マルチビジョン融合では、異なるエンコーダの視覚的特徴を組み合わせながら、コラボレーティブプルーニングによるクロスエンコーダ冗長性を低減させる。
  論文  参考訳（メタデータ） (2025-07-28T13:50:53Z)
• ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
  ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。 トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-05-24T15:47:49Z)
• Unveiling Encoder-Free Vision-Language Models [62.52803514667452]
  既存の視覚言語モデル (VLM) は主に視覚的特徴を抽出するために視覚エンコーダに依存しており、視覚言語タスクには大きな言語モデル (LLM) が続く。 エンコーダベースモデルとエンコーダフリーモデルとのギャップを橋渡しし、純粋なVLMに対するシンプルで効果的なトレーニングレシピを示す。 EVEはエンコーダなしの視覚言語モデルで、効率的にトレーニングと転送ができる。
  論文  参考訳（メタデータ） (2024-06-17T17:59:44Z)
• Regress Before Construct: Regress Autoencoder for Point Cloud Self-supervised Learning [18.10704604275133]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 我々は、ポイントクラウド自己教師型学習のための回帰オートエンコーダの新しいスキーム、Point Regress AutoEncoder (Point-RAE)を提案する。 本手法は, 各種下流タスクの事前学習において効率よく, 一般化可能である。
  論文  参考訳（メタデータ） (2023-09-25T17:23:33Z)
• Self-Supervised Point Cloud Representation Learning with Occlusion Auto-Encoder [63.77257588569852]
  本稿では,3D Occlusion Auto-Encoder(3D-OAE)を提案する。 私たちのキーとなるアイデアは、入力ポイントクラウドのローカルパッチをランダムに排除し、隠されたパッチを復元することで監督を確立することです。 従来の手法とは対照的に、我々の3D-OAEは大量のパッチを除去し、少数の可視パッチでしか予測できない。
  論文  参考訳（メタデータ） (2022-03-26T14:06:29Z)
• Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems [38.672160430296536]
  トランスフォーマーモデルは、要約を含む幅広いNLPタスクにおいて最先端の結果を得た。 これまでの研究は、エンコーダの二次的自己保持機構という、重要なボトルネックに重点を置いてきた。 この研究はトランスのエンコーダ・デコーダのアテンション機構に焦点を当てている。
  論文  参考訳（メタデータ） (2021-09-08T19:32:42Z)
• Dynamic Neural Representational Decoders for High-Resolution Semantic Segmentation [98.05643473345474]
  動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。 エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。 このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
  論文  参考訳（メタデータ） (2021-07-30T04:50:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。