論文の概要: Beyond Training: Dynamic Token Merging for Zero-Shot Video Understanding

• arxiv url: http://arxiv.org/abs/2411.14401v1
• Date: Thu, 21 Nov 2024 18:30:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:20:02.953662
• Title: Beyond Training: Dynamic Token Merging for Zero-Shot Video Understanding
• Title（参考訳）: トレーニングを超えて:ゼロショットビデオ理解のための動的トークンマージ
• Authors: Yiming Zhang, Zhuokai Zhao, Zhaorun Chen, Zenghui Ding, Xianjun Yang, Yining Sun,
• Abstract要約: ゼロショットビデオ理解のための新しい動的トークンマージフレームワークであるDYTOを提案する。 DYTOは階層的なフレーム選択と二部トークンマージ戦略を統合し、動的に鍵フレームをクラスタ化し、トークンシーケンスを選択的に圧縮する。 実験によりDYTOの有効性が示され、微調整法と訓練不要法の両方と比較して優れた性能が得られた。
• 参考スコア（独自算出の注目度）: 11.211803499867639
• License:
• Abstract: Recent advancements in multimodal large language models (MLLMs) have opened new avenues for video understanding. However, achieving high fidelity in zero-shot video tasks remains challenging. Traditional video processing methods rely heavily on fine-tuning to capture nuanced spatial-temporal details, which incurs significant data and computation costs. In contrast, training-free approaches, though efficient, often lack robustness in preserving context-rich features across complex video content. To this end, we propose DYTO, a novel dynamic token merging framework for zero-shot video understanding that adaptively optimizes token efficiency while preserving crucial scene details. DYTO integrates a hierarchical frame selection and a bipartite token merging strategy to dynamically cluster key frames and selectively compress token sequences, striking a balance between computational efficiency with semantic richness. Extensive experiments across multiple benchmarks demonstrate the effectiveness of DYTO, achieving superior performance compared to both fine-tuned and training-free methods and setting a new state-of-the-art for zero-shot video understanding.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)の最近の進歩は、ビデオ理解のための新たな道を開いた。 しかし、ゼロショットビデオタスクにおいて高い忠実性を達成することは依然として困難である。 従来のビデオ処理手法は微調整に大きく依存し、微調整された空間時間の詳細をキャプチャし、重要なデータと計算コストを発生させる。 対照的に、トレーニングなしのアプローチは効率的ではあるが、複雑なビデオコンテンツ全体にわたってコンテキストリッチな機能を保存する上で堅牢性に欠けることが多い。 そこで本稿では,ゼロショット映像理解のための動的トークンマージフレームワークであるDYTOを提案する。 DYTOは階層的なフレーム選択と二部トークンマージ戦略を統合し、動的に鍵フレームをクラスタ化し、トークンシーケンスを選択的に圧縮し、計算効率とセマンティックリッチネスのバランスを崩す。 複数のベンチマークにまたがる大規模な実験により、DYTOの有効性が実証され、微調整法と訓練不要法の両方と比較して優れた性能が得られ、ゼロショットビデオ理解のための新しい最先端技術が確立された。

関連論文リスト

• DynFocus: Dynamic Cooperative Network Empowers LLMs with Video Understanding [18.312501339046296]
  我々は,繰り返しフレームと応答不関連フレームの両方で冗長が生じ,対応するフレームは異なる質問によって異なることを観察する。 このことは、詳細なビデオ情報保存とトークン予算削減のバランスをとるためにダイナミックエンコーディングを採用する可能性を示唆している。
  論文  参考訳（メタデータ） (2024-11-19T09:16:54Z)
• Free Video-LLM: Prompt-guided Visual Perception for Efficient Training-free Video LLMs [56.040198387038025]
  トレーニング不要ビデオLLMの効率的な推論のための新しいプロンプト誘導視覚認識フレームワーク(Free Video-LLM)を提案する。 提案手法は,複数のビデオ質問応答ベンチマークにおいて高い性能を維持しながら,視覚トークンの数を効果的に削減する。
  論文  参考訳（メタデータ） (2024-10-14T12:35:12Z)
• Realizing Video Summarization from the Path of Language-based Semantic Understanding [19.825666473712197]
  本稿では,Mixture of Experts(MoE)パラダイムに触発された新しいビデオ要約フレームワークを提案する。 提案手法は,複数のビデオLLMを統合し,包括的で一貫性のあるテキスト要約を生成する。
  論文  参考訳（メタデータ） (2024-10-06T15:03:22Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• Towards Efficient and Effective Text-to-Video Retrieval with Coarse-to-Fine Visual Representation Learning [15.998149438353133]
  テキスト間検索のための2段階検索アーキテクチャを提案する。 トレーニングフェーズでは、パラメータフリーなテキストゲートインタラクションブロック(TIB)を設計し、詳細なビデオ表現学習を行う。 検索段階では、上位k候補を高速にリコールするために粗粒度映像表現を使用し、その後、細粒度映像表現によって再帰する。
  論文  参考訳（メタデータ） (2024-01-01T08:54:18Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• Deep Unsupervised Key Frame Extraction for Efficient Video Classification [63.25852915237032]
  本研究は、畳み込みニューラルネットワーク(CNN)と時間セグメント密度ピーククラスタリング(TSDPC)を組み合わせたキーフレームの検索方法を提案する。 提案した TSDPC は汎用的で強力なフレームワークであり,従来の研究に比べて2つの利点がある。 さらに、CNNの上部にLong Short-Term Memory Network (LSTM)を追加し、分類性能をさらに高める。
  論文  参考訳（メタデータ） (2022-11-12T20:45:35Z)
• Frame-wise Action Representations for Long Videos via Sequence Contrastive Learning [44.412145665354736]
  本稿では,フレームワイドな行動表現を学習するための,新しいコントラッシブな行動表現学習フレームワークを提案する。 自己教師型学習の最近の進歩に触発されて,2つの相関する視点に適用した新しいシーケンス・コントラッシブ・ロス(SCL)を提案する。 提案手法は,映像アライメントや細かなフレーム検索作業において,優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-28T17:59:54Z)
• Contrastive Transformation for Self-supervised Correspondence Learning [120.62547360463923]
  野生のラベルのない動画を用いて,視覚的対応の自己監督学習について検討する。 本手法は,信頼性の高い対応推定のための映像内および映像間表現関連を同時に検討する。 我々のフレームワークは、近年の視覚的タスクにおける自己監督型対応手法よりも優れています。
  論文  参考訳（メタデータ） (2020-12-09T14:05:06Z)
• Temporal Context Aggregation for Video Retrieval with Contrastive Learning [81.12514007044456]
  フレームレベルの特徴間の時間的長距離情報を組み込んだビデオ表現学習フレームワークTCAを提案する。 提案手法は,映像レベルの特徴を持つ最先端の手法に対して,FIVR-200Kでは17% mAPの大幅な性能上の優位性を示す。
  論文  参考訳（メタデータ） (2020-08-04T05:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。