論文の概要: ST-SimDiff: Balancing Spatiotemporal Similarity and Difference for Efficient Video Understanding with MLLMs
- arxiv url: http://arxiv.org/abs/2605.22158v1
- Date: Thu, 21 May 2026 08:27:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 16:35:42.16454
- Title: ST-SimDiff: Balancing Spatiotemporal Similarity and Difference for Efficient Video Understanding with MLLMs
- Title（参考訳）: ST-SimDiff: MLLMを用いた効率的なビデオ理解のための時空間的類似性と相違のバランス
- Abstract要約: 複雑なビデオ関係を扱うために,ST-Sim-Diffというトレーニング不要のフレームワークを開発した。
提案手法は,計算コストを大幅に削減しつつ,最先端の手法を著しく上回っている。
- 参考スコア（独自算出の注目度）: 20.712141528369553
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Large Language Models (MLLMs) face significant computational overhead when processing long videos due to the massive number of visual tokens required. To improve efficiency, existing methods primarily reduce redundancy by pruning or merging tokens based on importance or similarity. However, these approaches largely overlook a critical dimension of video content, i.e., changes and turning points, and they lack a collaborative model for spatio-temporal relationships. To address this, we propose a new perspective: similarity is for identifying redundancy, while difference is for capturing key events. Based on this, we designed a training-free framework named ST-SimDiff. We first construct a spatio-temporal graph from the visual tokens to uniformly model their complex associations. Subsequently, we employ a parallel dual-selection strategy: 1) similarity-based selection uses community detection to retain representative tokens, compressing static information; 2) temporal difference-based selection precisely locates content-changing points to preserve tokens that capture key dynamic shifts. This allows it to preserve both static and dynamic content with a minimal number of tokens. Extensive experiments show our method significantly outperforms state-of-the-art approaches while substantially reducing computational costs. Our code is available in https://github.com/bingjunluo/ST-SimDiff.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、大量のビジュアルトークンを必要とする長いビデオを処理する際に、計算上のオーバーヘッドに直面する。
効率を改善するために、既存の手法は、重要性や類似性に基づいてトークンを刈り込んだり、マージしたりすることで、主に冗長性を減少させる。
しかし、これらのアプローチはビデオコンテンツの重要な次元、すなわち変化と転換点を見落としており、時空間関係の協調モデルが欠如している。
類似性は冗長性を特定するためであり、差異は重要なイベントをキャプチャするためのものである。
そこで我々はST-SimDiffというトレーニング不要のフレームワークを設計した。
まず、視覚トークンから時空間グラフを構築し、それらの複雑な関連を均一にモデル化する。
その後、並列二重選択戦略を採用する。
1)類似性に基づく選択は,コミュニティ検出を用いて代表トークンを保持し,静的情報を圧縮する。
2) 時間差に基づく選択は、キーダイナミックシフトをキャプチャするトークンを保存するために、コンテンツ変更点を正確に特定する。
これにより、最小限のトークン数で静的コンテンツと動的コンテンツの両方を保存することができる。
大規模な実験により,提案手法は計算コストを大幅に削減しつつ,最先端の手法を著しく上回っていることが示された。
私たちのコードはhttps://github.com/bingjunluo/ST-SimDiffで利用可能です。
関連論文リスト
- YOSE: You Only Select Essential Tokens for Efficient DiT-based Video Object Removal [83.78619790270523]
YOSEはBatch Variable-length Indexing (BVI)とDiffusion Process Simulator (DiffSim)モジュールという2つの重要なコンポーネントを導入している。
BVIは、サンプル間で可変長トークン処理を可能にするマスク情報に基づく必須トークンを選択する。
DiffSimは、不正トークンの拡散プロセス近似機構を提供する。
実験では、YoSEは70%のケースで2.5倍のスピードアップを達成した。
論文 参考訳（メタデータ） (2026-04-30T02:08:13Z) - TrajTok: Learning Trajectory Tokens enables better Video Understanding [63.1260672430712]
ビデオモデルのトークン化は、通常、パッチ化によって、過剰で冗長な数のトークンを生成する。
そこで我々は,ビデオモデルと完全に統合され,共にトレーニングされたビデオトークンモジュールであるTrajTokを提案する。
本稿では,前処理した視覚特徴量(TrajAdapter)の探索ヘッドとしてシームレスに統合できるか,特に長ビデオ推論において高い性能を持つ視覚言語モデル(TrajVLM)のアライメントコネクタとして利用できることを示す。
論文 参考訳（メタデータ） (2026-02-26T09:15:34Z) - MomentSeg: Moment-Centric Sampling for Enhanced Video Pixel Understanding [40.37010049965347]
Referring Video Object (RefVOS)は、自然言語記述でガイドされたビデオにターゲットオブジェクトをセグメント化しようとする。
本稿では,時空間接地(TSG)とRefVOSを協調的に最適化し,キーモーメント接地機能を自然に組み込んだ統合フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-10T11:18:21Z) - VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。
Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
論文 参考訳（メタデータ） (2025-03-21T09:46:31Z) - The Devil is in Temporal Token: High Quality Video Reasoning Segmentation [68.33080352141653]
ビデオ推論の方法は、ビデオ内のオブジェクトを表現するために単一の特別なトークンに大きく依存する。
エンドツーエンドの動画推論セグメンテーション手法であるVRS-HQを提案する。
提案手法の強い時間的推論とセグメンテーション能力について検討した。
論文 参考訳（メタデータ） (2025-01-15T03:17:24Z) - Sparsity Meets Similarity: Leveraging Long-Tail Distribution for Dynamic Optimized Token Representation in Multimodal Large Language Models [6.467840081978855]
マルチモーダル大言語モデル(MM-LLM)は様々なタスクで大きな成功を収めた。
主な計算負担は、処理されたテキストと視覚トークンから生じる。
視覚的CLSトークン類似度曲線の屈折点を同定する動的プルーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-02T10:49:10Z) - SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。
時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。
10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
論文 参考訳（メタデータ） (2024-07-22T08:04:09Z) - LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models [35.88374542519597]
大規模マルチモーダルモデル(LMM)は、視覚エンコーダと大きな言語モデルとを接続することで、視覚的推論能力を示す。
近年のLMMには、高解像度の画像やビデオなど、より複雑な視覚入力が組み込まれており、視覚トークンの数が大幅に増加する。
我々は,LMMの性能を損なうことなく,視覚トークンの数を著しく削減する適応型視覚トークン削減戦略であるPruMergeを提案する。
論文 参考訳（メタデータ） (2024-03-22T17:59:52Z) - CenterCLIP: Token Clustering for Efficient Text-Video Retrieval [67.21528544724546]
CLIPでは、ビデオ内の連続するフレームの冗長性のために、離散的な視覚トークンシーケンスを生成する重要な視覚トークン化プロセスが、多くの均一なトークンを生成する。
これにより、計算コストが大幅に増加し、Webアプリケーションにおけるビデオ検索モデルの展開が妨げられる。
本稿では,最も代表的なトークンを抽出し,非意味トークンをドロップするマルチセグメントトークンクラスタリングアルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-05-02T12:02:09Z) - VIMPAC: Video Pre-Training via Masked Token Prediction and Contrastive
Learning [82.09856883441044]
ビデオ理解は、内部接続をモデル化するグローバルコンテンツを認識することに依存している。
空間領域と時間領域の両方で隣接するビデオトークンをマスクするブロックワイズ戦略を提案する。
また、グローバルコンテンツをさらにキャプチャするために、拡張不要なコントラスト学習手法も追加する。
論文 参考訳（メタデータ） (2021-06-21T16:48:19Z) - Efficient Transformer based Method for Remote Sensing Image Change
Detection [17.553240434628087]
シーン内のオブジェクトの複雑さのため、高解像度なリモートセンシングcdは依然として困難である。
空間時間領域内のコンテキストを効率的に効果的にモデル化するためのバイテンポラル画像変換器(BiT)を提案する。
BiTベースのモデルは、計算コストとモデルパラメータのわずか3倍のコストで純粋に畳み込みベースラインを著しく上回る。
論文 参考訳（メタデータ） (2021-02-27T13:08:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。