論文の概要: ReTrace: Visual Backtracking for Efficient Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2610.25005v1
• Date: Sun, 18 Oct 2026 04:19:13 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:04:31.277303
• Title: ReTrace: Visual Backtracking for Efficient Multimodal Large Language Models
• Title（参考訳）: ReTrace: 効率的なマルチモーダル大言語モデルのためのビジュアルバックトラック
• Abstract要約: 既存のビジュアルトークン圧縮手法は、浅い層に低濃度のトークンを刻むことで、このコストを削減する。 この手法は, 一時的不活性化と, 不可逆的な情報削除を両立させることを示す。 textbfReTraceは、休眠トークン状態を導入するバックトラック対応圧縮フレームワークである。
• 参考スコア（独自算出の注目度）: 16.345706499025358
• License:
• Abstract: Multimodal Large Language Models (MLLMs) encode images into dense visual token sequences, creating substantial attention and KV-cache overhead. Existing visual token compression methods reduce this cost by pruning low-saliency tokens in shallow layers, but this practice couples temporary computational deactivation with irreversible information deletion. We show that this coupling breaks an intrinsic inference pattern in MLLMs. Through layer-wise attention analysis, we identify \textbf{Visual Backtracking}: visual pivots remain spatially stable, yet in middle layers they actively retrieve context from tokens that appeared unimportant earlier. Thus, early low-saliency tokens can be inactive for computation while still being useful for later reasoning. Motivated by this finding, we propose \textbf{ReTrace}, a backtracking-aware compression framework that introduces a dormant token state. ReTrace caches non-pivot tokens outside expensive layer-wise computation, restores them during the backtracking window, and prunes only after their information has been absorbed. Experiments on Qwen2.5-VL and InternVL3 demonstrate nearly 90\% reductions in FLOPs and KV cache, a 2.83$\times$ prefilling speedup, and strong performance retention across complex vision-language benchmarks.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、画像を高密度な視覚トークンシーケンスにエンコードし、かなりの注意とKVキャッシュのオーバーヘッドを生み出す。 既存のビジュアルトークン圧縮法では、浅い層に低濃度のトークンをプルーニングすることで、このコストを削減しているが、このプラクティスは、一時的な計算不活性化と不可逆的な情報削除を兼ね備えている。 この結合はMLLMの固有推論パターンを破ることを示す。 視覚的なピボットは空間的に安定しているが、中層では重要でないトークンから積極的にコンテキストを検索する。 したがって、初期の低可用性トークンは計算には不活性でありながら、後続の推論には有用である。 この発見を動機として,バックトラック対応圧縮フレームワークである‘textbf{ReTrace} を提案する。 ReTraceは、高価なレイヤワイド計算の外で非pivotトークンをキャッシュし、バックトラッキングウィンドウ中にそれらを復元し、情報が吸収された後にのみプルーネを発行する。 Qwen2.5-VL と InternVL3 の実験では、FLOP と KV キャッシュが 90 % 近く削減され、2.83$\times$プリフィルスピードアップ、複雑なビジョンベンチマークによるパフォーマンス保持が強化された。

関連論文リスト

• Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models [53.964810481070636]
  大規模言語モデル(MLLM)における計算オーバーヘッドのかなりの部分を占める長い視覚トークンシーケンス 既存のアプローチは、冗長な視覚トークンを刈り取ることでこのコストを削減するが、その後のレイヤで有用になる可能性のある視覚的証拠を永久に破棄する。 視覚トークンの繰り返しトランスフォーマー進化を軽量な低ランクアダプタに置き換える$-Visionを提案する。
  論文  参考訳（メタデータ） (2026-09-28T11:52:45Z)
• ResPrune: Text-Conditioned Subspace Reconstruction for Visual Token Pruning in Large Vision-Language Models [59.94664910790462]
  ResPruneは、大規模な視覚言語モデルのためのトレーニング不要のビジュアルトークンプルーニングフレームワークである。 視覚トークンのコンパクトだが情報に富むサブセットを選択する。 これは、計算、メモリ消費、推論遅延を効果的に削減する。
  論文  参考訳（メタデータ） (2026-03-22T07:44:45Z)
• ASAP: Attention-Shift-Aware Pruning for Efficient LVLM Inference [26.71949723961501]
  本稿では,新しいトレーニングフリーなKVキャッシュ対応プルーニングレシピであるASAPを提案する。 ダイナミックな双方向ソフトアテンションマスクを利用することで、アテンションシフトを緩和する。 また、トークンセット内の高い意味的冗長性は性能を低下させると仮定する。
  論文  参考訳（メタデータ） (2026-03-15T18:51:31Z)
• Parallel Vision Token Scheduling for Fast and Accurate Multimodal LMMs Inference [68.4758228017823]
  ParVTSは、ビジュアルトークンを被写体および非オブジェクトグループに分割し、それらを並列に処理し、それらのセマンティクスを疑問トークンに転送し、非オブジェクトパスミッド推論を破棄する。 実験の結果、ParVTSは最大88.9%の視覚トークンを出力し、最小性能が低下し、1.77倍のスピードアップと70%のFLOPが削減された。
  論文  参考訳（メタデータ） (2025-11-24T08:29:36Z)
• Don't Just Chase "Highlighted Tokens" in MLLMs: Revisiting Visual Holistic Context Retention [50.97683288777336]
  MLLM(Multimodal Large Language Models)は、巨大な視覚トークンに依存するため、計算オーバーヘッドがかなり大きい。 近年の研究では、この問題を緩和するためにトークンプルーニングが検討されている。 本稿では,効率的な推論のためのビジュアルトークン・プルーニング・フレームワークであるHoloVを提案する。
  論文  参考訳（メタデータ） (2025-10-03T11:33:40Z)
• VFlowOpt: A Token Pruning Framework for LMMs with Visual Information Flow-Guided Optimization [70.98122339799218]
  LMM(Large Multimodal Models)は、多数の視覚トークンを微粒な視覚情報に活用することにより、視覚言語タスクに優れる。 推論中の視覚トークンを減らすことを目的とした以前の研究は、一般的に、視覚のみのトークンや視覚言語トークンの注意スコアから得られた重要マップを利用して、1つまたは複数のプルーニング段階にわたってトークンをプルーンする。 重要地図導出プロセスとリサイクル機構を備えたプログレッシブプルーニングモジュールを導入したトークンプルーニングフレームワークであるVFlowOptを提案する。 実験により、VFlowOptは、同等のパフォーマンスを維持しながら、90%のビジュアルトークンをプルークでき、KVキャッシュメモリが89%削減され、3.8になった。
  論文  参考訳（メタデータ） (2025-08-07T09:47:21Z)
• RedundancyLens: Revealing and Exploiting Visual Token Processing Redundancy for Efficient Decoder-Only MLLMs [38.34856927170692]
  MLLM(Multimodal Large Language Model)の学習用フレームワークを提案する。 Probe-Activated Dynamic FFNとHollow Attentionで構成されており、ビジュアルトークンの計算の調整可能な削減を可能にする。 実験では、デコーダのみのMLLMに特有の、実質的で、構造化され、クラスタ化された冗長性を示す。
  論文  参考訳（メタデータ） (2025-01-31T11:09:16Z)
• ST$^3$: Accelerating Multimodal Large Language Model by Spatial-Temporal Visual Token Trimming [14.937905258757635]
  $textbfST3$は、再トレーニングせずにMLLM推論を高速化するように設計されたフレームワークである。 $textbfST3$は、既存のトレーニング済みMLLMにシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-12-28T10:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。