論文の概要: Evict3R: Training-Free Token Eviction for Memory-Bounded Streaming Visual Geometry Transformers

• arxiv url: http://arxiv.org/abs/2509.17650v2
• Date: Thu, 02 Oct 2025 18:38:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 14:21:29.882472
• Title: Evict3R: Training-Free Token Eviction for Memory-Bounded Streaming Visual Geometry Transformers
• Title（参考訳）: Evict3R: メモリバウンド・ストリーミング・ビジュアル幾何学変換器のための学習自由トークン推定
• Authors: Soroush Mahdi, Fardin Ayar, Ehsan Javanmardi, Manabu Tsukada, Mahdi Javanmardi,
• Abstract要約: StreamVGGTのようなストリーミングビジュアルトランスフォーマーは、強力な3D認識を実現するが、キーバリュー(KV)メモリの増大に悩まされる。 本稿では、冗長なトークンを破棄し、最も情報性の高いトークンを保持しながらメモリをバウンドする、トレーニング不要な推論時トークン消去ポリシーを提案する。
• 参考スコア（独自算出の注目度）: 1.9268905951820923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Streaming visual transformers like StreamVGGT achieve strong 3D perception but suffer from unbounded growth of key value (KV) memory, which limits scalability. We propose a training-free, inference-time token eviction policy that bounds memory by discarding redundant tokens while keeping the most informative ones. Our method uses significantly less memory with little to no drop in accuracy: on 7-Scenes with long sequences it reduces peak memory from 18.63 GB to 9.39 GB while accuracy and completeness drop by only 0.003. Under strict memory budgets, eviction enables denser frame sampling, which improves reconstruction accuracy compared to the baseline. Experiments across video depth estimation (Sintel, KITTI), 3D reconstruction (7-Scenes, NRGBD), and camera pose estimation (Sintel, TUM-dynamics) show that our approach closely matches StreamVGGT at a fraction of the memory and makes long-horizon streaming inference more practical.
• Abstract（参考訳）: StreamVGGTのようなストリーミングビジュアルトランスフォーマーは、強力な3D認識を実現するが、拡張性を制限するキーバリュー(KV)メモリの非バウンド成長に悩まされる。 本稿では、冗長なトークンを破棄し、最も情報性の高いトークンを保持しながらメモリをバウンドする、トレーニング不要な推論時トークン消去ポリシーを提案する。 長いシーケンスを持つ7シーンでは、ピークメモリを18.63GBから9.39GBに削減し、精度と完全性は0.003に低下する。 厳格なメモリ予算の下では、消去によりより高密度なフレームサンプリングが可能となり、ベースラインと比較して再構築精度が向上する。 ビデオ深度推定 (Sintel, KITTI), 3次元再構成 (7-Scenes, NRGBD), カメラポーズ推定 (Sintel, TUM-dynamics) による実験により, 提案手法がストリームVGGTとメモリのごく一部で密に一致し, 長時間のストリーミング推論をより実用的なものにしていることがわかった。

関連論文リスト

• SparK: Query-Aware Unstructured Sparsity with Recoverable KV Cache Channel Pruning [33.149133156465474]
  大規模言語モデルにおける長文推論は、KVキャッシュのボトルネックによってますます制限される。 チャネルレベルでKVをプルーニングすることで、非構造化空間を適用できる訓練不要なプラグアンドプレイ手法であるSPARKを提案する。 SPARKはチャネルレベルの冗長性を低減し、同じメモリ予算内で長いシーケンスの処理を可能にする。
  論文  参考訳（メタデータ） (2025-08-21T03:48:28Z)
• METok: Multi-Stage Event-based Token Compression for Efficient Long Video Understanding [41.60539587719931]
  トレーニング不要なマルチステージイベントベースのToken圧縮フレームワークであるMETokを提案する。 我々はMETokが情報的視覚トークンを動的に選択することで効率と精度の最適なトレードオフを実現することを示す。 例えば、LongVA-7BをMETokに装備すると、80.6%のFLOPが削減され、93.5%のKVキャッシュメモリが節約される。
  論文  参考訳（メタデータ） (2025-06-03T13:19:41Z)
• Dialogue Without Limits: Constant-Sized KV Caches for Extended Responses in LLMs [6.222287867011644]
  精度を保ちながら一定サイズのKVキャッシュを維持する推論時間手法であるMorphKVを提案する。 保持や損失圧縮とは異なり、MorphKVは最近のトークンの注意パターンによってガイドされる軽量更新を通じてKVキャッシュを反復的に洗練する。 我々の研究では、52.9$%のメモリセーブと18.2$%の精度が、最先端の先行研究と比較して高いことを示している。
  論文  参考訳（メタデータ） (2025-03-02T18:12:50Z)
• Efficient Video Object Segmentation via Modulated Cross-Attention Memory [123.12273176475863]
  頻繁なメモリ拡張を必要とせず、時間的滑らかさをモデル化するトランスフォーマーベースの手法MAVOSを提案する。 我々のMAVOSは、単一のV100 GPU上で37フレーム/秒(FPS)で動作しながら、J&Fスコア63.3%を達成する。
  論文  参考訳（メタデータ） (2024-03-26T17:59:58Z)
• Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
  一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。 本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。 また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
  論文  参考訳（メタデータ） (2022-05-08T02:24:43Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)
• TinyTL: Reduce Activations, Not Trainable Parameters for Efficient On-Device Learning [78.80707950262214]
  デバイス上での学習により、エッジデバイスはAIモデルを新しいデータに継続的に適応できる。 既存の作業は、トレーニング可能なパラメータの数を減らすことで、この問題を解決する。 メモリ効率の高いオンデバイス学習のためのTiny-Transfer-Learning(TinyTL)を提案する。
  論文  参考訳（メタデータ） (2020-07-22T18:39:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。