論文の概要: MergeOver: Post-Training Token Merging for Recursive Vision Transformers

• arxiv url: http://arxiv.org/abs/2608.13141v1
• Date: Thu, 13 Aug 2026 12:15:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.513164
• Title: MergeOver: Post-Training Token Merging for Recursive Vision Transformers
• Title（参考訳）: MergeOver:再帰的な視覚変換のためのトレーニング後のトークンマージ
• Abstract要約: MergeOverがToken Merging(ToMe)をSliced Recursive Transformer(SReT)に統合 ImageNet-1Kをベンチマークし、トップ1の精度を1.47ポイント削減した。 GPUでは、バッチサイズ1と16ではピークアクティベーションメモリを37.3%、38.4%削減し、バッチサイズ1ではスループットを21.7%削減するが、バッチサイズ16では21.7%向上する。
• 参考スコア（独自算出の注目度）: 1.6106006867887395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Transformers (ViTs) demonstrate exceptional performance in computer vision but suffer from large parameter counts and quadratic computational complexity, severely limiting their deployment on resource-constrained edge hardware. While recursive weight-sharing reduces parameter counts and token merging mitigates computational and memory bottlenecks, integrating these two paradigms without costly retraining is non-trivial, leaving this intersection largely unexplored. We propose MergeOver, a post-training approach that integrates Token Merging (ToMe) into the recursively weight-shared Sliced Recursive Transformer (SReT). Through an Unmerge tracking stack, constraint-safe merge-rate adjustment, and synchronised token-mass tracking across spatial permutations, MergeOver resolves the spatial and merging constraints of this integration. We further employ a stage-wise single-shot schedule that performs token reduction at the first block of each stage and maintains a fixed sequence length throughout its subsequent recursive iterations. Benchmarked on ImageNet-1K, our selected configuration reduces top-1 accuracy by 1.47 percentage points. On the GPU, it reduces peak activation memory by 37.3% and 38.4% at batch sizes 1 and 16, while throughput decreases by 21.7% at batch size 1 but increases by 21.7% at batch size 16. On a Raspberry Pi 5 (ARM CPU), it reduces latency by 2.4% and 17.6% at batch sizes 1 and 16. These results show that MergeOver can recover a meaningful part of the throughput and memory cost that recursive weight-sharing introduces, without retraining, and provides a baseline for combining token merging with hierarchical recursive transformers.
• Abstract（参考訳）: ビジョントランスフォーマー(ViT)は、コンピュータビジョンにおいて例外的な性能を示すが、大きなパラメータ数と2次計算の複雑さに悩まされており、リソース制約のあるエッジハードウェアへの展開を著しく制限している。 再帰的な重み共有はパラメータの数を減らし、トークンのマージは計算とメモリのボトルネックを緩和するが、これら2つのパラダイムを統合することは、コストのかかる再トレーニングなしには簡単ではない。 本稿では,Token Merging(ToMe)を再帰的に重み付けしたSliced Recursive Transformer(SReT)に組み込むポストトレーニング手法であるMergeOverを提案する。 Unmergeトラッキングスタック、制約セーフなマージレート調整、空間的な置換をまたいだ同期トークン質量追跡を通じて、MergeOverはこの統合の空間的およびマージ的制約を解消する。 さらに、各ステージの第1ブロックでトークン削減を行い、その後の再帰イテレーションを通して固定シーケンス長を維持できるステージワイズシングルショットスケジュールを採用する。 ImageNet-1Kをベンチマークし、トップ1の精度を1.47ポイント削減した。 GPUでは、バッチサイズ1と16ではピークアクティベーションメモリを37.3%、38.4%削減し、バッチサイズ1ではスループットを21.7%削減するが、バッチサイズ16では21.7%向上する。 Raspberry Pi 5(ARM CPU)では,バッチサイズ1と16のレイテンシを2.4%,17.6%削減する。 これらの結果から,MergeOverは再帰的ウェイトシェアリングを導入するスループットとメモリコストの有意義な部分を取り戻すことができ,トークンマージと階層的再帰的トランスフォーマを組み合わせたベースラインを提供する。

関連論文リスト

• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• Sigma-Branch: Hierarchical Single-Path Network Reconstruction for Dynamic Inference with Reduced Active Parameters [0.0]
  本稿では,事前学習した高密度ネットワークを,共有バックボーン,階層ルータ,特殊葉からなる階層二分木に再構成するフレームワークを提案する。 CIFAR-100 / ResNet-50, ImageNet-1K / ResNet-50, ModelNet40 / PointNet++ 全体で、SigmaB-Net は高密度ベースライン Top-1 の 1.72 ポイント (pp) に留まりながら、参照毎のアクティブパラメータを58-60%削減する。
  論文  参考訳（メタデータ） (2026-06-07T09:19:44Z)
• DeRes: Decoupling Residual Stability and Adaptivity for Scalable CTR Prediction [0.343054185715673]
  トランスフォーマーベースのCTRモデルは、残差接続におけるボトルネックの増大に直面している。 最近の注意に基づく残差変種(AttnRes)は、言語モデルにおけるこの部分に対応する。 本稿では,各層を2つの並列経路にルートするDeReについて述べる。
  論文  参考訳（メタデータ） (2026-06-06T05:07:16Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
  Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。 このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
  論文  参考訳（メタデータ） (2026-04-23T02:12:58Z)
• MeSH: Memory-as-State-Highways for Recursive Transformers [23.995570647573484]
  パラメータが少ない再帰モデルは、マッチした計算の下では非再帰的モデルよりも遅れることが多い。 隠れた状態を探索することで、このパフォーマンスギャップを2つの主要なボトルネックにトレースします。 メモリ管理を明示的なメモリバッファに外部化するメモリ・アズ・ステート・ハイウェイ方式を導入する。
  論文  参考訳（メタデータ） (2025-10-09T03:23:38Z)
• Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation [61.67090981767583]
  本研究では,Mixture-of-Recursions (MoR)を導入した。 MoRはパラメータ効率を達成するために再帰ステップをまたいだ共有レイヤのスタックを再利用し、軽量ルータは適応トークンレベルの思考を可能にする。 また、メモリフットプリントをさらに削減するために、KVペアを最初の再帰から再利用するKV共有変種を提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:49:00Z)
• Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
  トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。 本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T14:23:18Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。