論文の概要: Making Every Frame Matter: Continuous Video Understanding for Large Models via Adaptive State Modeling

• arxiv url: http://arxiv.org/abs/2410.14993v1
• Date: Sat, 19 Oct 2024 05:50:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:18:51.594651
• Title: Making Every Frame Matter: Continuous Video Understanding for Large Models via Adaptive State Modeling
• Title（参考訳）: すべてのフレームを重要視する - 適応状態モデリングによる大規模モデルの連続的ビデオ理解
• Authors: Hao Wu, Donglin Bai, Shiqi Jiang, Qianxi Zhang, Yifan Yang, Ting Cao, Fengyuan Xu,
• Abstract要約: マルチモダリティアプリケーションの台頭に伴い、ビデオ理解はますます重要になっている。 適応状態モデリングによりこれらの問題を克服する新しいシステムC-VUEを導入する。 C-VUEには3つの重要な設計がある。第1に、歴史的ビデオ情報を保持するためにビデオ認識アプローチを使用する長距離履歴モデリング技術である。 2つ目は空間冗長性低減手法で、時間的関係に基づく歴史モデリングの効率を高める。
• 参考スコア（独自算出の注目度）: 14.450847211200292
• License:
• Abstract: Video understanding has become increasingly important with the rise of multi-modality applications. Understanding continuous video poses considerable challenges due to the fast expansion of streaming video, which contains multi-scale and untrimmed events. We introduce a novel system, C-VUE, to overcome these issues through adaptive state modeling. C-VUE has three key designs. The first is a long-range history modeling technique that uses a video-aware approach to retain historical video information. The second is a spatial redundancy reduction technique, which enhances the efficiency of history modeling based on temporal relations. The third is a parallel training structure that incorporates the frame-weighted loss to understand multi-scale events in long videos. Our C-VUE offers high accuracy and efficiency. It runs at speeds >30 FPS on typical edge devices and outperforms all baselines in accuracy. Moreover, applying C-VUE to a video foundation model as a video encoder in our case study resulted in a 0.46-point enhancement (on a 5-point scale) on the in-distribution dataset, and an improvement ranging from 1.19\% to 4\% on zero-shot datasets.
• Abstract（参考訳）: マルチモダリティアプリケーションの台頭に伴い、ビデオ理解はますます重要になっている。 連続ビデオの理解は、マルチスケールおよび未トリミングイベントを含むストリーミングビデオの急速な拡張により、大きな課題となる。 適応状態モデリングによりこれらの問題を克服する新しいシステムC-VUEを導入する。 C-VUEには3つの重要な設計がある。 1つ目は、歴史的ビデオ情報を保持するためにビデオ認識アプローチを使用する長距離履歴モデリング技術である。 2つ目は空間冗長性低減手法で、時間的関係に基づく歴史モデリングの効率を高める。 3つ目は、フレーム重み付き損失を組み込んだ並列トレーニング構造で、長いビデオのマルチスケールイベントを理解する。 我々のC-VUEは高い精度と効率を提供する。 通常のエッジデバイスで30 FPSの速度で動作し、すべてのベースラインを精度で上回る。 さらに,ビデオエンコーダとしてC-VUEをビデオ基盤モデルに適用することにより,配信内データセットの0.46ポイント向上(5ポイントスケール)と,ゼロショットデータセットの1.19\%から4.%の改善を実現した。

関連論文リスト

• Depth Any Video with Scalable Synthetic Data [98.42356740981839]
  多様な合成環境からリアルタイムのビデオ深度データをキャプチャする,スケーラブルな合成データパイプラインを開発した。 我々は、生成的ビデオ拡散モデルの強力な先駆を生かして、実世界の動画を効果的に処理する。 我々のモデルは、空間的精度と時間的一貫性の観点から、過去のすべての生成深度モデルより優れている。
  論文  参考訳（メタデータ） (2024-10-14T17:59:46Z)
• MotionAura: Generating High-Quality and Motion Consistent Videos using Discrete Diffusion [3.7270979204213446]
  ビデオ処理の課題に対処するための4つの重要なコントリビューションを提示する。 まず,3次元逆ベクトル量子化バリエンコエンコオートコーダを紹介する。 次に,テキスト・ビデオ生成フレームワークであるMotionAuraを紹介する。 第3に,スペクトル変換器を用いたデノナイジングネットワークを提案する。 第4に,Sketch Guided Videopaintingのダウンストリームタスクを導入する。
  論文  参考訳（メタデータ） (2024-10-10T07:07:56Z)
• AID: Adapting Image2Video Diffusion Models for Instruction-guided Video Prediction [88.70116693750452]
  テキスト誘導ビデオ予測(TVP)は、命令に従って、初期フレームから将来のフレームの動きを予測する。 従来のTVP方式では, 安定拡散法を応用して大きなブレークスルーを達成している。 我々は、初期フレームとテキスト命令に基づいて、将来のビデオ状態を予測するためのMLLM(Multi-Modal Large Language Model)を導入する。
  論文  参考訳（メタデータ） (2024-06-10T17:02:08Z)
• TAM-VT: Transformation-Aware Multi-scale Video Transformer for Segmentation and Tracking [33.75267864844047]
  ビデオオブジェクト(VOS)は、より大きなデータセットとより複雑で現実的な設定が利用できるという、ますます重要な問題として現れています。 本稿では,上記の課題を体系的に分析し,対処することを目的とした,クリップ型DETR方式のエンコーダデコーダアーキテクチャを提案する。 具体的には、物体が大きな変形を受ける映像の一部に学習を集中させる新しい変換認識損失を提案する。
  論文  参考訳（メタデータ） (2023-12-13T21:02:03Z)
• A Simple Recipe for Contrastively Pre-training Video-First Encoders Beyond 16 Frames [54.90226700939778]
  我々は,大規模な画像テキストモデルを浅部時間融合によりビデオに転送する共通パラダイムを構築した。 1)標準ビデオデータセットにおけるビデオ言語アライメントの低下による空間能力の低下と,(2)処理可能なフレーム数のボトルネックとなるメモリ消費の増大である。
  論文  参考訳（メタデータ） (2023-12-12T16:10:19Z)
• Video-FocalNets: Spatio-Temporal Focal Modulation for Video Action Recognition [112.66832145320434]
  Video-FocalNetは、ローカルなグローバルなコンテキストの両方をモデル化する、ビデオ認識のための効率的かつ効率的なアーキテクチャである。 Video-FocalNetは、自己注意の相互作用と集約のステップを反転させる時間的焦点変調アーキテクチャに基づいている。 我々は,5つの大規模データセット上での映像認識のための最先端のトランスフォーマーモデルに対して,Video-FocalNetsが好適に動作することを示す。
  論文  参考訳（メタデータ） (2023-07-13T17:59:33Z)
• Video Mobile-Former: Video Recognition with Efficient Global Spatial-temporal Modeling [125.95527079960725]
  トランスフォーマーベースのモデルは、主要なビデオ認識ベンチマークで最高のパフォーマンスを達成した。 Video Mobile-Formerはトランスフォーマーベースの最初のビデオモデルであり、1G FLOP内で計算予算を制限している。
  論文  参考訳（メタデータ） (2022-08-25T17:59:00Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。