論文の概要: ST-SimDiff: Balancing Spatiotemporal Similarity and Difference for Efficient Video Understanding with MLLMs

• arxiv url: http://arxiv.org/abs/2605.22158v1
• Date: Thu, 21 May 2026 08:27:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.16454
• Title: ST-SimDiff: Balancing Spatiotemporal Similarity and Difference for Efficient Video Understanding with MLLMs
• Title（参考訳）: ST-SimDiff: MLLMを用いた効率的なビデオ理解のための時空間的類似性と相違のバランス
• Authors: Bingjun Luo, Tony Wang, Chaoqi Chen, Xinpeng Ding,
• Abstract要約: 複雑なビデオ関係を扱うために,ST-Sim-Diffというトレーニング不要のフレームワークを開発した。 提案手法は,計算コストを大幅に削減しつつ,最先端の手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 20.712141528369553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) face significant computational overhead when processing long videos due to the massive number of visual tokens required. To improve efficiency, existing methods primarily reduce redundancy by pruning or merging tokens based on importance or similarity. However, these approaches largely overlook a critical dimension of video content, i.e., changes and turning points, and they lack a collaborative model for spatio-temporal relationships. To address this, we propose a new perspective: similarity is for identifying redundancy, while difference is for capturing key events. Based on this, we designed a training-free framework named ST-SimDiff. We first construct a spatio-temporal graph from the visual tokens to uniformly model their complex associations. Subsequently, we employ a parallel dual-selection strategy: 1) similarity-based selection uses community detection to retain representative tokens, compressing static information; 2) temporal difference-based selection precisely locates content-changing points to preserve tokens that capture key dynamic shifts. This allows it to preserve both static and dynamic content with a minimal number of tokens. Extensive experiments show our method significantly outperforms state-of-the-art approaches while substantially reducing computational costs. Our code is available in https://github.com/bingjunluo/ST-SimDiff.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、大量のビジュアルトークンを必要とする長いビデオを処理する際に、計算上のオーバーヘッドに直面する。 効率を改善するために、既存の手法は、重要性や類似性に基づいてトークンを刈り込んだり、マージしたりすることで、主に冗長性を減少させる。 しかし、これらのアプローチはビデオコンテンツの重要な次元、すなわち変化と転換点を見落としており、時空間関係の協調モデルが欠如している。 類似性は冗長性を特定するためであり、差異は重要なイベントをキャプチャするためのものである。 そこで我々はST-SimDiffというトレーニング不要のフレームワークを設計した。 まず、視覚トークンから時空間グラフを構築し、それらの複雑な関連を均一にモデル化する。 その後、並列二重選択戦略を採用する。 1)類似性に基づく選択は,コミュニティ検出を用いて代表トークンを保持し,静的情報を圧縮する。 2) 時間差に基づく選択は、キーダイナミックシフトをキャプチャするトークンを保存するために、コンテンツ変更点を正確に特定する。 これにより、最小限のトークン数で静的コンテンツと動的コンテンツの両方を保存することができる。 大規模な実験により,提案手法は計算コストを大幅に削減しつつ,最先端の手法を著しく上回っていることが示された。 私たちのコードはhttps://github.com/bingjunluo/ST-SimDiffで利用可能です。

関連論文リスト

• TrajTok: Learning Trajectory Tokens enables better Video Understanding [63.1260672430712]
  ビデオモデルのトークン化は、通常、パッチ化によって、過剰で冗長な数のトークンを生成する。 そこで我々は,ビデオモデルと完全に統合され,共にトレーニングされたビデオトークンモジュールであるTrajTokを提案する。 本稿では,前処理した視覚特徴量(TrajAdapter)の探索ヘッドとしてシームレスに統合できるか,特に長ビデオ推論において高い性能を持つ視覚言語モデル(TrajVLM)のアライメントコネクタとして利用できることを示す。
  論文  参考訳（メタデータ） (2026-02-26T09:15:34Z)
• VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
  最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。 Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
  論文  参考訳（メタデータ） (2025-03-21T09:46:31Z)
• The Devil is in Temporal Token: High Quality Video Reasoning Segmentation [68.33080352141653]
  ビデオ推論の方法は、ビデオ内のオブジェクトを表現するために単一の特別なトークンに大きく依存する。 エンドツーエンドの動画推論セグメンテーション手法であるVRS-HQを提案する。 提案手法の強い時間的推論とセグメンテーション能力について検討した。
  論文  参考訳（メタデータ） (2025-01-15T03:17:24Z)
• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models [35.88374542519597]
  大規模マルチモーダルモデル(LMM)は、視覚エンコーダと大きな言語モデルとを接続することで、視覚的推論能力を示す。 近年のLMMには、高解像度の画像やビデオなど、より複雑な視覚入力が組み込まれており、視覚トークンの数が大幅に増加する。 我々は,LMMの性能を損なうことなく,視覚トークンの数を著しく削減する適応型視覚トークン削減戦略であるPruMergeを提案する。
  論文  参考訳（メタデータ） (2024-03-22T17:59:52Z)
• CenterCLIP: Token Clustering for Efficient Text-Video Retrieval [67.21528544724546]
  CLIPでは、ビデオ内の連続するフレームの冗長性のために、離散的な視覚トークンシーケンスを生成する重要な視覚トークン化プロセスが、多くの均一なトークンを生成する。 これにより、計算コストが大幅に増加し、Webアプリケーションにおけるビデオ検索モデルの展開が妨げられる。 本稿では,最も代表的なトークンを抽出し,非意味トークンをドロップするマルチセグメントトークンクラスタリングアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-05-02T12:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。