論文の概要: LapMerge: Differentiable Exact-Budget Token Merging in Linear Time

• arxiv url: http://arxiv.org/abs/2610.13858v2
• Date: Mon, 12 Oct 2026 06:20:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.988725
• Title: LapMerge: Differentiable Exact-Budget Token Merging in Linear Time
• Title（参考訳）: LapMerge: 正確な予算を線形時間でマージする
• Abstract要約: 順序付けられたシーケンスのトレードオフを解消する、微分可能なマージ演算子であるLapMergeを紹介します。 学習された質量分布は、その配列を正確に$N$の等質量セグメントにラプラス核密度で分割する。 ドロップインリダクションモジュールとしても、トレーニング可能なアーキテクチャコンポーネントとしても機能します。
• 参考スコア（独自算出の注目度）: 45.497817967484536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern vision and language models process ever longer token sequences, and reducing them is the main lever on downstream cost. Token compression, however, faces a fundamental trade-off: selecting tokens discards information, while existing merging methods preserve it only through pairwise token-to-token matching or $MN$ token-to-output interactions. We introduce LapMerge, a differentiable merging operator that resolves this trade-off for ordered sequences: a learned mass distribution partitions the sequence into exactly $N$ equal-mass segments under a Laplace-kernel density, and prefix/suffix scans aggregate each segment, so both the forward and the backward pass run in $O(M+N)$ time. This combination (an exact output budget, end-to-end differentiability, and linear cost) is precisely what previous reducers trade off against one another. The budget can be changed without changing operator parameters, and the learned mass doubles as a token-level map of where the budget is allocated. Across vision and vision-language tasks, LapMerge matches or improves on strong token reducers while being up to two orders of magnitude faster at large sequence lengths; it is particularly effective when token order reflects spatial or temporal locality, and works both as a drop-in reduction module and as a trainable architectural component.
• Abstract（参考訳）: 現代のビジョンと言語モデルは、より長いトークンシーケンスを処理し、それらを減らすことが、下流のコストの主なレバーである。 トークンの選択は情報を破棄するが、既存のマージメソッドはペアワイズトークン対トーケンマッチングまたは$MN$トークン対アウトプットインタラクションによってのみ保持する。 学習した質量分布は、正確に$N$等質量セグメントに分割し、プレフィックス/サフィックスは各セグメントを集約するので、前方パスと後方パスはともに$O(M+N)$時間で実行される。 この組み合わせ(正確な出力予算、エンドツーエンドの微分可能性、線形コスト)は、以前のリデューサが互いに引き離したものである。 演算子パラメータを変更することなく予算を変更することができ、学習された質量は、予算が割り当てられた場所のトークンレベルマップとして倍になる。 LapMergeは、視覚的タスクと視覚言語タスク全体にわたって、大きなシーケンス長で最大2桁の速度で強力なトークンリデューサをマッチまたは改善する。

関連論文リスト

• LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference [63.932718076408584]
  LASTは、エッジクラウド協調MLLM推論におけるクエリ依存のビジュアルトークンプルーニングのための、トレーニング不要のフレームワークである。 完全な精度の95.4%を維持し、視覚トークンの12.5%しか保持せず、エッジ側の選択オーバーヘッドは低く、クラウド側の計算は少ない。
  論文  参考訳（メタデータ） (2026-07-30T09:59:25Z)
• Adaptation to Intrinsic Dependence in Diffusion Language Models [5.185131234265025]
  拡散言語モデル(DLM)は自己回帰(AR)アプローチに代わる有望な代替手段として登場した。 対象データ分布の(未知の)依存構造に適応するDLMの分布に依存しないアンマスキングスケジュールを提案する。 この結果は, 先行収束理論を著しく改善し, 低複雑さ分布に対する相当なサンプリング加速を得た。
  論文  参考訳（メタデータ） (2026-02-23T18:41:34Z)
• QuickMerge++: Fast Token Merging with Autoregressive Prior [6.185573921868495]
  高速な次世代予測のための軽量フレームワークであるQuickMergeを提案する。 セマンティックサリエンス推定、フレキシブルトークン予算、ARアライメントを組み合わせることで、QuickMergeはより少ないトークンで正確な生成を可能にする。 マルチモダリティドメイン間でQuickMergeを評価し、計算精度のトレードオフを一貫した改善を実証する。
  論文  参考訳（メタデータ） (2025-08-16T06:07:33Z)
• Training-Free Tokenizer Transplantation via Orthogonal Matching Pursuit [45.18582668677648]
  大規模言語モデルにおいて,トークン化剤を移植するためのトレーニング不要な手法を提案する。 それぞれの語彙外トークンを,共有トークンの疎線形結合として近似する。 我々は,OMPがベースモデルの性能を最良にゼロショット保存できることを示す。
  論文  参考訳（メタデータ） (2025-06-07T00:51:27Z)
• VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
  最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。 Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
  論文  参考訳（メタデータ） (2025-03-21T09:46:31Z)
• ZETA: Leveraging Z-order Curves for Efficient Top-k Attention [22.90397380324185]
  本稿では,全シーケンスに対する過去のトークンの並列クエリを可能にするZETAを提案する。 ZETA は合成textscMulti-Query Associative Recall タスクにおける標準注意性能と一致する。
  論文  参考訳（メタデータ） (2025-01-24T15:33:05Z)
• Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。 トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
  論文  参考訳（メタデータ） (2023-12-02T04:29:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。