論文の概要: Scaling Vision Transformers Without Training: Prune-and-Merge Token Compression

• arxiv url: http://arxiv.org/abs/2610.18039v2
• Date: Wed, 14 Oct 2026 04:42:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.577128
• Title: Scaling Vision Transformers Without Training: Prune-and-Merge Token Compression
• Title（参考訳）: トレーニングなしの視力変換器のスケーリング:プルー・アンド・マージ・トーケン圧縮
• Abstract要約: 市販モデルのトレーニングフリーフレームワークであるPrune-and Merge ViTを提案する。 クラスアテンションベースのプルーニングと類似性ベースのマージを組み合わせることで、セマンティック情報を保持しながら冗長性を低減します。 事前訓練されたViTとDeiTでは、Prune-and-Mergeは既存のトークン削減手法よりも堅牢性と精度を保ちながら、計算を競争的に削減する。
• 参考スコア（独自算出の注目度）: 2.3215806943173676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Transformers achieve strong performance but incur high computational costs from quadratic token interactions. Training-free token reduction methods improve efficiency, but their robustness remains underexplored. We propose Prune-and Merge ViT, a training-free framework for off-the-shelf models. It combines class attention-based pruning with similarity-based merging to reduce redundancy while preserving semantic information. To evaluate robustness we introduce two metrics. Relative Accuracy Drop (RAD) measures relative accuracy degradation under transformations, and Prediction Flip Rate (PFR) quantifies prediction consistency. On pretrained ViT and DeiT, Prune-and-Merge reduces computation competitively while maintaining robustness and better accuracy than existing token reduction methods. Our analysis suggests that hybrid token reduction does not introduce hallucination-like behavior and preserves prediction stability for common image transformations.
• Abstract（参考訳）: 視覚変換器は高い性能を実現するが、2次トークン相互作用から高い計算コストを発生させる。 トレーニング不要なトークン還元法は効率を向上するが、その堅牢性は未解明のままである。 市販モデルのトレーニングフリーフレームワークであるPrune-and Merge ViTを提案する。 クラスアテンションベースのプルーニングと類似性ベースのマージを組み合わせることで、セマンティック情報を保持しながら冗長性を低減します。 堅牢性を評価するために、2つのメトリクスを導入します。 相対的精度低下(RAD)は変換による相対的精度低下を測定し、予測フリップ率(PFR)は予測一貫性を定量化する。 事前訓練されたViTとDeiTでは、Prune-and-Mergeは既存のトークン削減手法よりも堅牢性と精度を保ちながら、計算を競争的に削減する。 本分析は,ハイブリッドトークンの低減は幻覚様の挙動を導入せず,共通画像変換の予測安定性を保っていることを示唆している。

関連論文リスト

• Residual-Controlled Multiplier Learning for Stochastic Constrained Decision-Making [12.04727482907937]
  CMLは、ミニバッチ条件下での一次フィードバック乗算器のノイズを追跡する問題に対処する。 乗算器を有限ゲイン乗算器と原始降下のための有効圧力信号に分解する。
  論文  参考訳（メタデータ） (2026-06-05T09:35:22Z)
• AdaMerge: Salience-Aware Adaptive Token Merging for Training-Free Acceleration of Vision Transformers [5.739405014622565]
  AdaMergeは2つの補完メカニズムに基づいたトークンマージフレームワークである。 ToMe、PiToMe、DSMよりずっと優れています。
  論文  参考訳（メタデータ） (2026-05-26T05:35:39Z)
• Rethinking Weight Tying: Pseudo-Inverse Tying for Stable LM Training and Updates [22.84428628659889]
  Pseudo-Inverse Tyingはトレーニングを通じて擬似逆整合インターフェースを保証する。 256M-1.3Bパラメータにまたがるデバイス上でのPITを評価する。
  論文  参考訳（メタデータ） (2026-02-04T13:44:53Z)
• A Convergence Analysis of Adaptive Optimizers under Floating-point Quantization [32.97211471008323]
  我々は、勾配、重み、状態の浮動小数点量子化の下で、アダムやムオンを含む適応収束の最初の理論的枠組みを導入する。 両アルゴリズムが完全精度のアルゴリズムに近い収束率を維持していることを示す。 我々はさらに、Adamが$beta から 1$ への依存のため、高い感度と第二モーメントの量子化重みに敏感であることを明らかにし、Muon はより弱いエラー制御を必要とするため、より堅牢である可能性がある。
  論文  参考訳（メタデータ） (2025-10-24T10:16:23Z)
• QuantSparse: Comprehensively Compressing Video Diffusion Transformer with Model Quantization and Attention Sparsification [67.15451442018258]
  拡散変換器は素晴らしいビデオ生成能力を示すが、その計算とメモリの禁止コストは実際の展開を妨げる。 モデル量子化とアテンションスパシフィケーションは圧縮に有望な2つの方向であるが、それぞれがアグレッシブ圧縮の下で深刻な性能劣化を被っている。 モデル量子化と注意散布を統合した統合フレームワークである textbfQuantSparse を提案する。
  論文  参考訳（メタデータ） (2025-09-28T06:49:44Z)
• Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
  トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。 本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T14:23:18Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention [36.90363317158731]
  最小限のコストで適応的なスパーストークンプルーニングフレームワークを提案する。 提案手法では,DeiT-Sのスループットを50%向上し,トップ1の精度は0.2%低下した。
  論文  参考訳（メタデータ） (2022-09-28T03:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。