論文の概要: Reg4Pru: Regularisation Through Random Token Routing for Token Pruning

• arxiv url: http://arxiv.org/abs/2602.02163v2
• Date: Tue, 03 Feb 2026 11:40:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 13:28:03.737488
• Title: Reg4Pru: Regularisation Through Random Token Routing for Token Pruning
• Title（参考訳）: Reg4Pru: ランダムトークンルーティングによるToken Pruningの正規化
• Authors: Julian Wyatt, Ronald Clark, Irina Voiculescu,
• Abstract要約: 本稿では,セグメンテーションのためのトークンプレーニング性能損失を軽減するトレーニング正規化手法であるReg4Pruを紹介する。 Reg4Pruは、ルーティングなしでトレーニングされた同じモデルと比較して、平均精度を絶対46%改善する。
• 参考スコア（独自算出の注目度）: 15.18142893449811
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers are widely adopted in modern vision models due to their strong ability to scale with dataset size and generalisability. However, this comes with a major drawback: computation scales quadratically to the total number of tokens. Numerous methods have been proposed to mitigate this. For example, we consider token pruning with reactivating tokens from preserved representations, but the increased computational efficiency of this method results in decreased stability from the preserved representations, leading to poorer dense prediction performance at deeper layers. In this work, we introduce Reg4Pru, a training regularisation technique that mitigates token-pruning performance loss for segmentation. We compare our models on the FIVES blood vessel segmentation dataset and find that Reg4Pru improves average precision by an absolute 46% compared to the same model trained without routing. This increase is observed using a configuration that achieves a 29% relative speedup in wall-clock time compared to the non-pruned baseline. These findings indicate that Reg4Pru is a valuable regulariser for token reduction strategies.
• Abstract（参考訳）: トランスフォーマーは、データセットのサイズと一般的な可能性でスケールする強力な能力のために、現代のビジョンモデルで広く採用されている。 しかし、これは大きな欠点があり、計算はトークンの総数に対して2次的にスケールする。 これを緩和する多くの方法が提案されている。 例えば,保存された表現からの再活性化トークンによるトークンプルーニングを考えるが,この手法の計算効率の向上により,保存された表現からの安定性が低下し,より深い層での密度予測性能が低下する。 本稿では,セグメンテーションのためのトークンプレーニング性能損失を軽減するトレーニング正則化手法であるReg4Pruを紹介する。 FIVES血管セグメンテーションデータセットのモデルを比較したところ、Reg4Pruはルーティングなしでトレーニングされたのと同じモデルと比較して、平均精度を46%向上することがわかった。 この増加は,非切断ベースラインと比較して,壁面時間での相対速度を29%向上させる構成を用いて観察される。 これらの結果から,Reg4Pruはトークン還元戦略の有効な正則剤であることが示唆された。

関連論文リスト

• ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization [99.96330641363396]
  ARMOR: (Adaptive Representation with Matrix-factorization) は、新しい1ショットのポストトレーニングプルーニングアルゴリズムである。 ARMORは重量を直接刈る代わりに、各重量行列を2:4のスパースコアに分解する。 ARMORは、幅広いダウンストリームタスクとパープレキシティ評価において、最先端の2:4プルーニング手法よりも一貫して、はるかに優れています。
  論文  参考訳（メタデータ） (2025-10-07T02:39:20Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• Sparsity Forcing: Reinforcing Token Sparsity of MLLMs [40.93786579652003]
  マルチモーダル大規模言語モデル(MLLM)におけるトークンの分散性を,単純なRLベースのポストトレーニングフレームワークであるtextitSparsity Forcing を用いて明示的に強化する。 本手法では,複数ロールアウトを異なるトークン予算で実行し,効率(トーケン還元率)と性能(回答正当性)の両方を共同報酬として定式化することにより,効率・正確性トレードオフを探索する。
  論文  参考訳（メタデータ） (2025-04-23T01:45:55Z)
• AiluRus: A Scalable ViT Framework for Dense Prediction [95.1313839257891]
  視覚変換器 (ViT) は、その優れた性能のため、視覚タスクの一般的なアーキテクチャとして登場した。 本稿では,画像の異なる領域に対して,その重要度に応じて適応分解能を適用することを提案する。 提案手法を3つの異なるデータセット上で評価し,有望な性能を観察する。
  論文  参考訳（メタデータ） (2023-11-02T12:48:43Z)
• Revisiting Token Pruning for Object Detection and Instance Segmentation [25.3324628669201]
  オブジェクトとインスタンスのセグメンテーションの推論を高速化するトークンプルーニングについて検討する。 従来のトークンプルーニング法と比較して,ボックス・マスクともに1.5mAPから0.3mAPに低下した。
  論文  参考訳（メタデータ） (2023-06-12T11:55:33Z)
• Segmented Recurrent Transformer: An Efficient Sequence-to-Sequence Model [10.473819332984005]
  分割された(局所的な)注意と再帰的な注意を結合した分節再帰変圧器(SRformer)を提案する。 提案モデルでは,分割変圧器よりも高いROUGE1スコアを6-22%で達成し,他の再帰変圧器よりも優れている。
  論文  参考訳（メタデータ） (2023-05-24T03:47:22Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
  ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。 認証精度は5.78%,44.96%,43.19%であった。
  論文  参考訳（メタデータ） (2020-06-01T05:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。