論文の概要: When Token Compression Breaks: Structural Pruning vs. Token Reduction for Robust ViT Segmentation under High Compression

• arxiv url: http://arxiv.org/abs/2607.02237v1
• Date: Thu, 02 Jul 2026 14:34:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.872558
• Title: When Token Compression Breaks: Structural Pruning vs. Token Reduction for Robust ViT Segmentation under High Compression
• Title（参考訳）: 強圧縮下でのロバストVTセグメンテーションにおけるトケン圧縮の破断時-構造解析とトケン低減
• Authors: Tien-Phat Nguyen, Ngai-Man Cheung,
• Abstract要約: 視覚変換器(ViT)はセマンティックセグメンテーションのための強力なバックボーンであるが、その計算コストはデプロイメントを制限する。 効率的なViTベースのセグメンテーションのための最近のトークン圧縮法は、トークンの数を減らしてコストを削減している。 We benchmark token compression and structure pruning method for ViT-based semantic segmentation under matched FLOPs。
• 参考スコア（独自算出の注目度）: 22.74689289299356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers (ViTs) are strong backbones for semantic segmentation, but their computational cost limits deployment. Recent token compression methods for efficient transformer-based segmentation reduce this cost by decreasing the number of tokens. However, existing evaluations primarily focus on low-to-moderate compression, leaving their behavior under aggressive compression and corrupted inputs unclear. Meanwhile, structural pruning provides an orthogonal route to efficiency by removing redundant components in the ViT architecture, but is rarely compared to token compression under a unified protocol. To bridge this gap, we benchmark representative token compression and structural pruning methods for ViT-based semantic segmentation under matched FLOPs on ADE20K and Cityscapes, together with their common-corruption variants ADE20K-C and Cityscapes-C. Our results reveal a consistent trend on both clean and corrupted inputs: token compression is highly effective at mild reductions but degrades sharply when compression becomes severe, consistent with substantial information loss from overly aggressive token reduction. In contrast, structural pruning exhibits a smoother degradation curve and is more stable at high compression. Motivated by these findings, we study a prune-then-merge pipeline that applies moderate token compression on top of a moderately pruned backbone. At comparable FLOPs, this combined strategy consistently achieves a better accuracy-robustness trade-off at high compression, offering a practical recipe for deployment-oriented ViT segmentation. Code is available at https://github.com/phatnguyencs/vit-seg-compression.
• Abstract（参考訳）: 視覚変換器(ViT)はセマンティックセグメンテーションのための強力なバックボーンであるが、その計算コストはデプロイメントを制限する。 効率的な変圧器を用いたセグメント化のための最近のトークン圧縮法は、トークンの数を減らしてコストを削減している。 しかし、既存の評価は主に低モダレート圧縮に重点を置いており、その振る舞いは攻撃的な圧縮と破損した入力に委ねられている。 一方、構造的プルーニングは、ViTアーキテクチャの冗長なコンポーネントを取り除くことで、効率を直交するルートを提供するが、統一されたプロトコルの下でトークン圧縮と比較されることは滅多にない。 このギャップを埋めるために, ADE20K と Cityscapes の一致したFLOP と ADE20K-C と Cityscapes-C の併用による, ViT ベースのセマンティックセマンティックセマンティックセマンティックセグメンテーションのための代表トークン圧縮と構造解析手法のベンチマークを行った。 トークン圧縮は軽度還元には極めて有効であるが, 過度に攻撃的なトークン還元による実質的な情報損失と一致して, 圧縮が深刻になると急激に劣化する。 対照的に、構造的な刈り取りはより滑らかな劣化曲線を示し、高い圧縮率でより安定である。 これらの知見に触発され,中等度に切断された背骨の上に中等度なトークン圧縮を施したPrune-then-mergeパイプラインについて検討した。 同等のFLOPでは、この組み合わせ戦略は高い圧縮率で精度とロバスト性のトレードオフを継続的に達成し、デプロイ指向のViTセグメンテーションの実践的なレシピを提供する。 コードはhttps://github.com/phatnguyencs/vit-seg-compression.comで公開されている。

関連論文リスト

• Compression as an Adversarial Amplifier Through Decision Space Reduction [14.526561120852532]
  本研究は, 従来未探索の敵の攻撃を, 直接圧縮表現に適用する手法について検討する。 同一名の摂動予算の下では、圧縮認識攻撃はピクセル空間攻撃よりもかなり効果的である。 この効果は,非可逆な情報損失変換を生じる圧縮による決定空間の低減に起因する。
  論文  参考訳（メタデータ） (2026-04-08T11:15:45Z)
• EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
  EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。 高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-24T07:58:42Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• On the Adversarial Robustness of Large Vision-Language Models under Visual Token Compression [22.436953683970007]
  既存のエンコーダベースの攻撃は、圧縮視覚言語モデル(LVLM)の堅牢性を大幅に過大評価できることを示す。 本稿では, 圧縮機構やトークンの予算を仮定することなく, 摂動最適化と圧縮推論を一致させる圧縮-AliGnEd攻撃(CAGE)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T10:47:21Z)
• Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
  トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。 本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T14:23:18Z)
• UniPCGC: Towards Practical Point Cloud Geometry Compression via an Efficient Unified Approach [4.754973569457509]
  我々は,UniPCGCと呼ばれる効率的な統合ポイントクラウド幾何圧縮フレームワークを提案する。 可逆圧縮、無損失圧縮、可変レート、可変複雑性をサポートする。 損失圧縮ではCR比が8.1%、損失圧縮ではBjontegaard Delta Rate(BD-Rate)が14.02%向上した。
  論文  参考訳（メタデータ） (2025-03-24T10:51:28Z)
• Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
  視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮 しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。 本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T10:36:43Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。