論文の概要: The Rescue Effect: Spatio-Semantic Early Exit Bypasses Quantization Collapse in CLIP

• arxiv url: http://arxiv.org/abs/2605.26415v1
• Date: Tue, 26 May 2026 00:45:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.516913
• Title: The Rescue Effect: Spatio-Semantic Early Exit Bypasses Quantization Collapse in CLIP
• Title（参考訳）: 救済効果:CLIPの量子化崩壊を経た時空間的早期退避
• Abstract要約: CLIPのような共同埋め込みアーキテクチャでは、量子化されたCNN分類器とは異なる障害モードが導入されている。 我々はこれをQIRC(Quantization-induced Representation Collapse)と呼び、CLIP ViT-B/32を置き換えるINT8上で定量化する。 雑音飽和層をバイパスするLRA-EE(Layer-wise Representation-Aware Early Exit)を提案する。 ImageNet-1K ゼロショット分類では、LRA-EE は FLOP を 13.4% 削減し、Top-1 の精度を +2.44%p (58.72% -> 61.16%) 向上させる。
• 参考スコア（独自算出の注目度）: 6.450516062706025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying Vision-Language Models on resource-constrained hardware typically requires INT8 quantization, but in joint-embedding architectures such as CLIP this introduces a failure mode distinct from quantized CNN classifiers: activation noise accumulated across transformer blocks perturbs the direction of the multimodal embedding, eroding the cosine alignment on which zero-shot retrieval depends. We characterize this as Quantization-Induced Representation Collapse (QIRC) and quantify it on INT8 CLIP ViT-B/32, where the layer-wise noise-to-signal ratio grows from below 10% in shallow blocks to 52% at Layer 11. We propose LRA-EE (Layer-wise Representation-Aware Early Exit), which bypasses noise-saturated deep layers via Spatio-Semantic Aggregation (replacing the immature shallow [CLS] with a global patch-token average), a learned multi-feature gate (confidence, top-2 margin, spatial-activation variance), and Layer-adaptive Confidence Thresholding calibrated to each layer's Information-to-Noise Ratio. On ImageNet-1K zero-shot classification, LRA-EE reduces FLOPs by 13.4% and improves Top-1 accuracy by +2.44%p (58.72% -> 61.16%) over the INT8 baseline. A four-quadrant decomposition isolates the Rescue Effect: 9.5% of samples are correctly classified at shallow exits but lost to noise at full depth, against only 7.1% suffering the inverse.
• Abstract（参考訳）: リソース制約のあるハードウェアにビジョンランゲージモデルを配置するには、一般的にINT8量子化を必要とするが、CLIPのような共同埋め込みアーキテクチャでは、量子化されたCNN分類器とは異なる障害モードが導入されている。 我々はこれをQIRC(quantization-induced Representation Collapse)と呼び、INT8 CLIP ViT-B/32で定量化する。 本研究では,LRA-EE (Layer-wise Representation-Aware Early Exit) を提案する。これは,Spaatio-Semantic Aggregation (未熟な浅層(CLS)を大域パッチトケン平均で置き換える),学習された多機能ゲート(信頼度,トップ2マージン,空間アクティベーション分散),および各レイヤのインフォメーション・ツー・ノイズ比に校正された層適応信頼度閾値(Layer-Adaptive Confidence Thresholding)を通じて,雑音飽和層をバイパスする。 ImageNet-1K ゼロショット分類では、LRA-EE は FLOP を 13.4% 削減し、トップ1 の精度を +2.44%p (58.72% -> 61.16%) 改善している。 サンプルの9.5%は浅い出口で正しく分類されるが、完全な深さでノイズによって失われ、逆流に苦しむのはわずか7.1%である。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Curvature Cryptanalysis of Smooth Transformer Feed-Forward Networks [0.20313422213594776]
  本研究では,2層フィードフォワードネットワーク(FFN)が付加的な構造モデル抽出チャネルを公開することを示す。 我々は、プロジェクションされた入力ヘッセンが同じ隠れ対称ランク1因子の異なる混合を形成する2階リークチャネルを利用する。 独立に訓練されたCIFAR-10視覚変換器では、8193のブラックボックスクエリに対応する16個のヘッセンのみが隠れたFFN方向を復元する。
  論文  参考訳（メタデータ） (2026-08-28T20:26:07Z)
• SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs [18.494055578192015]
  本稿では,各プルーニングサイトに線形残差アダプタを挿入するトレーニング不要なポストプルーニング修正フレームワークShift-LLMを紹介する。 各LRAは元の残基の同一性経路を保持し、軽量なアフィン残基補正を追加する。 5つのモデルファミリ,6つの層選択基準,および7つのゼロショットベンチマーク実験により,ShiFT-LLMは深絞りによって失われる精度を常に回復することを示した。
  論文  参考訳（メタデータ） (2026-08-25T19:01:58Z)
• Spectral Gradient Orthogonalization Improves Differentially Private Training at Scale [17.610398782149293]
  空間的相関が勾配エネルギーを低ランクの部分空間に集中させる視覚モデルでは、ほとんどのノイズは信号がほとんどない方向に落ちる。 偏極分解によるスペクトル勾配直交化は後処理ステップとして導入される。 直交スペクトル信号対雑音比(SNR)が特異ベクトル回復に十分である場合にのみ精度が向上する。
  論文  参考訳（メタデータ） (2026-08-18T06:35:26Z)
• Prototype-Rectified Iterative Self-supervised Manifold Denoising under Severe Acoustic Shift [3.704942101286518]
  本稿では,アフィンノイズ仮説に基づくトレーニングフリーでソースフリーなテスト時間適応(TTA)フレームワークであるPRISMを紹介する。 推論において、適応は0.0009msで1つの行列ベクトル乗法に還元され、勾配ベースのTTAよりもかなり速い。 UrbanSound8Kでは、PRISMはゼロショットベースラインを12.94ポイント上回り、オラクル支援TTAベースラインを9.41ポイント上回る。
  論文  参考訳（メタデータ） (2026-08-15T04:42:14Z)
• Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models [0.0]
  すべてのレイヤの離散コードとスケールに対する共同最適化として量子化を定式化する。 FP16教師に対して,誤差補償のみのパープレキシティ比が9.56+/-0.15に達することを示す。 Qwen2.5-1.5B で 1.125 ビットのグループバイナリの重みを持つ場合、誤差補償だけで FP16 の教師に対して 9.56 +/- 0.15 のパープレキシティ比に達する。
  論文  参考訳（メタデータ） (2026-07-16T06:47:52Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Attention Sinks and Outliers in Attention Residuals [39.45624457227565]
  層間ヌルシグナリングに基づく外部・シンク対応手法を提案する。 AttnResidualアーキテクチャは、追加の深さワイド正規化チャネルを導入している。 AttnResidualの二重正規化設計はシンクの形成と量子化の脆さを高める。
  論文  参考訳（メタデータ） (2026-05-18T05:53:09Z)
• Layer Collapse in Diffusion Language Models [54.880703002010144]
  拡散言語モデル (DLM) は自己回帰言語モデル (AR) の代替として登場した。 DLMの層崩壊は, 過度なトレーニングによるものではなく, 過度なトレーニングによるものであることを示す。 私たちの発見は、非常に実践的な意味を持っている。
  論文  参考訳（メタデータ） (2026-05-07T14:39:40Z)
• Normalized Architectures are Natively 4-Bit [49.13186675123547]
  重みと隠れ表現を単位超球面に制限するアーキテクチャであるnGPTは、本質的に低精度算術よりも堅牢である。 本手法は,最大3B/30Bパラメータの1.2B密度モデルとハイブリッド(Mamba-Transformer)MoEモデルの両方で検証する。
  論文  参考訳（メタデータ） (2026-05-07T11:54:07Z)
• The Illusion of Equivalence: Systematic FP16 Divergence in KV-Cached Autoregressive Inference [2.954681536906518]
  KVキャッシングは自己回帰変換器推論におけるユビキタス最適化である。 FP16 KVキャッシュ推論は基本的に再計算と等価ではないことを示す。
  論文  参考訳（メタデータ） (2026-04-16T15:59:40Z)
• Where Relevance Emerges: A Layer-Wise Study of Internal Attention for Zero-Shot Re-Ranking [40.652380579951206]
  In-Context Re- rank (ICR) は、最近$O(1)$代替メソッドとして提案されている。 ICRは内部の注意信号を直接抽出し、テキスト生成のオーバーヘッドを回避する。 統一的な研究は、内部の注意を従来の生成的および可能性に基づくメカニズムと比較していない。
  論文  参考訳（メタデータ） (2026-02-26T03:51:31Z)
• Privacy-Aware Split Inference with Speculative Decoding for Large Language Models over Wide-Area Networks [0.0]
  本稿では、信頼性のあるローカルGPUとクラウドGPUのトランスフォーマーを分割する、プライバシーに配慮した大規模言語モデル(LLM)の実用的なシステムを提案する。 我々のシステムは、高速広帯域ネットワーク(WAN)上での自己回帰LDM復号化の独特な課題に対処する。 システムは4.9GBのローカルVRAMと7Bのスループットしか持たない大型モデルに一般化される。
  論文  参考訳（メタデータ） (2026-02-18T14:13:08Z)
• Ultrafast Deep Learning-Based Scatter Estimation in Cone-Beam Computed Tomography [7.864992877255044]
  散乱アーティファクトは、コーンビームCT(CBCT)スキャンの画質を大幅に劣化させる。 深層学習に基づく手法はCBCT測定から散乱を推定する上で有望であることを示す。 モバイルCBCTシステムやエッジデバイスへの展開は、ネットワークのメモリフットプリントが大きいため、依然として制限されている。
  論文  参考訳（メタデータ） (2025-09-10T20:07:56Z)
• Robust Residual Finite Scalar Quantization for Neural Compression [46.574899938569125]
  有限スカラー量子化(FSQ)は、簡易なトレーニングを提供するが、多段階設定での残留等級劣化に悩まされる。 本稿では,2つの新しい条件付け手法を用いて,この基本的な制限に対処するロバスト残留有限スカラー量子化(RFSQ)を提案する。 RFSQの有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2025-08-20T15:18:59Z)
• Sub-token ViT Embedding via Stochastic Resonance Transformers [51.12001699637727]
  Vision Transformer (ViT) アーキテクチャは、画像を高次元のベクトル化トークンの集合として表現し、それぞれが長方形の非重複パッチに対応する。 我々は「確率共鳴」にインスパイアされた無訓練法を提案する。 結果として得られるSRT(Stochastic Resonance Transformer)は、元の表現のリッチな意味情報を保持するが、空間的トークン化の粗い効果を軽減し、より微細な空間領域に基盤を置いている。
  論文  参考訳（メタデータ） (2023-10-06T01:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。