論文の概要: MPM: Mutual Pair Merging for Efficient Vision Transformers

• arxiv url: http://arxiv.org/abs/2604.05718v1
• Date: Tue, 07 Apr 2026 11:16:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.781653
• Title: MPM: Mutual Pair Merging for Efficient Vision Transformers
• Title（参考訳）: MPM:効率的な視覚変換器のための相互ペアマージ
• Authors: Simon Ravé, Pejman Rasti, David Rousseau,
• Abstract要約: 相互ペアマージング(Mutual Pair Merging、MPM)は、コサイン空間において互いに近接する隣り合うペアを形成する訓練不要なトークンアグリゲーションモジュールである。 ADE20Kでは、Raspberry Pi 5上でのViT-Tinyのイメージ毎のレイテンシを最大60%削減し、FlashAttention-2でH100上でのスループットを最大20%向上する。
• 参考スコア（独自算出の注目度）: 2.3741226173924073
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Decreasing sequence length is a common way to accelerate transformers, but prior token reduction work often targets classification and reports proxy metrics rather than end-to-end latency. For semantic segmentation, token reduction is further constrained by the need to reconstruct dense, pixel-aligned features, and on modern accelerators the overhead of computing merge maps can erase expected gains. We propose Mutual Pair Merging (MPM), a training-free token aggregation module that forms mutual nearest-neighbor pairs in cosine space, averages each pair, and records a merge map enabling a gather-based reconstruction before the decoder so that existing segmentation heads can be used unchanged. MPM introduces no learned parameters and no continuous compression knob (no keep-rate or threshold). The speed-accuracy trade-off is set by a discrete insertion schedule. We benchmark end-to-end latency on an NVIDIA H100 GPU (with and without FlashAttention-2) and a Raspberry Pi 5 across standard segmentation datasets. On ADE20K, MPM reduces per-image latency by up to 60% for ViT-Tiny on Raspberry Pi 5, and increases throughput by up to 20% on H100 with FlashAttention-2 while keeping the mIoU drop below 3%. These results suggest that simple, reconstruction-aware, training-free token merging can translate into practical wall-clock gains for segmentation when overhead is explicitly accounted for.
• Abstract（参考訳）: シーケンス長の減少はトランスフォーマーを高速化する一般的な方法だが、トークンの事前削減作業はしばしば分類を目標とし、エンドツーエンドのレイテンシよりもプロキシメトリクスを報告する。 セマンティックセグメンテーションでは、高密度でピクセル対応の機能を再構築する必要によりトークンの削減がさらに制限され、現代の加速器では、マージマップの計算オーバーヘッドは期待されるゲインを消し去ることができる。 マルチペアリング(MPM)は,コサイン空間内で互いに近接する近傍のペアを形成し,各ペアを平均化し,デコーダの前に集合ベースの再構成が可能なマージマップをデコーダに記録し,既存のセグメンテーションヘッドを変更できるようにした,トレーニングフリーなトークンアグリゲーションモジュールである。 MPMは学習パラメータや連続圧縮ノブ(保持率や閾値は含まない)を導入しない。 速度精度トレードオフは、離散的な挿入スケジュールによって設定される。 我々は、NVIDIA H100 GPU(FlashAttention-2を使用せずに)とRaspberry Pi 5を標準セグメンテーションデータセットでエンドツーエンドのレイテンシをベンチマークします。 ADE20Kでは、Raspberry Pi 5上でのViT-Tinyのイメージ毎のレイテンシを最大60%削減し、FlashAttention-2でH100上でのスループットを最大20%向上させ、mIoUを3%以下に抑える。 これらの結果から, 単純で, 再構成を意識した, トレーニング不要なトークンマージは, オーバヘッドが明示的に考慮された場合のセグメンテーションにおいて, 実用的なウォールクロックゲインに変換できることが示唆された。

関連論文リスト

• ToMA: Token Merge with Attention for Diffusion Models [8.079656935981193]
  拡散モデルは高忠実度画像生成において優れるが、トランスフォーマーの二次的注意複雑さによる拡張性に限界がある。 本稿では,GPU整列効率のトークン削減を否定する市販のToMA(Token Merge with Attention)を提案する。 ToMAはSDXL/Flux生成遅延を24%/23%削減する(DINO $Delta 0.07$)。
  論文  参考訳（メタデータ） (2025-09-13T17:35:00Z)
• TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference [48.40143137402824]
  MLA(Multi-Head Latent Attention)は、キー値の状態を低ランクの潜在ベクトルに圧縮し、このベクトルだけをキャッシュしてメモリを減少させる。 しかし、テンソル並列性(TP)では、アテンションヘッドは複数のデバイスにまたがって計算され、各デバイスはフルキャッシュをロードしなければならない。 本稿では,潜在表現と各頭部の入力次元をデバイス間で分割し,シャード毎に独立して注目を行い,結果を全再現と組み合わせる方式であるTPLAを提案する。
  論文  参考訳（メタデータ） (2025-08-21T15:25:40Z)
• QuickSilver -- Speeding up LLM Inference through Dynamic Token Halting, KV Skipping, Contextual Token Fusion, and Adaptive Matryoshka Quantization [7.188043811595143]
  推論は、大きな言語モデルにおける遅延とエネルギー消費の大部分を占める。 QuickSilverはモジュール型のトークンレベルのフレームワークで、モデルウェイトや構造を変更することなく、推論時のセマンティックアダプティビティを実現する。
  論文  参考訳（メタデータ） (2025-06-27T17:10:32Z)
• Speedy MASt3R [68.47052557089631]
  MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。 高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。 この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-03-13T03:56:22Z)
• CAIT: Triple-Win Compression towards High Accuracy, Fast Inference, and Favorable Transferability For ViTs [89.79139531731637]
  ビジョントランスフォーマー (ViT) は様々なビジョンタスクの最先端モデルとして登場した。 本稿では,高次アンダーライン精度,高速アンダーライン推論速度,下流タスクに対する好適なアンダーライン変換性を両立させたViTの合同アンダーライン圧縮法を提案する。
  論文  参考訳（メタデータ） (2023-09-27T16:12:07Z)
• SegViTv2: Exploring Efficient and Continual Semantic Segmentation with Plain Vision Transformers [76.13755422671822]
  本稿では,エンコーダ・デコーダ・フレームワークを用いた意味的セグメンテーションのためのプレーンビジョン変換器(ViT)の能力について検討する。 Intention-to-Mask(atm)モジュールを導入し、平易なViTに有効な軽量デコーダを設計する。 我々のデコーダは、様々なViTバックボーンを使用して人気のあるデコーダUPerNetより優れ、計算コストの5%程度しか消費しない。
  論文  参考訳（メタデータ） (2023-06-09T22:29:56Z)
• Fast-iTPN: Integrally Pre-Trained Transformer Pyramid Network with Token Migration [138.24994198567794]
  ITPNは2つの精巧な設計で生まれ、1)視覚変換器を用いた最初の事前訓練型特徴ピラミッド(ViT)である。 Fast-iTPNは推論手順を最大70%高速化でき、性能損失は無視できる。
  論文  参考訳（メタデータ） (2022-11-23T06:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。