論文の概要: Revisiting Kernel Temporal Segmentation as an Adaptive Tokenizer for Long-form Video Understanding

• arxiv url: http://arxiv.org/abs/2309.11569v1
• Date: Wed, 20 Sep 2023 18:13:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 18:02:46.026891
• Title: Revisiting Kernel Temporal Segmentation as an Adaptive Tokenizer for Long-form Video Understanding
• Title（参考訳）: 長尺映像理解のための適応トークン化器としてのカーネル時間分割の再検討
• Authors: Mohamed Afham, Satya Narayan Shukla, Omid Poursaeed, Pengchuan Zhang, Ashish Shah, Sernam Lim
• Abstract要約: 実世界のビデオは、しばしば数分間の長さであり、意味的に一貫した長さのセグメントがある。 長いビデオを処理するための一般的なアプローチは、一定時間の長さの一様にサンプリングされたクリップにショートフォームビデオモデルを適用することである。 このアプローチは、固定長のクリップがしばしば冗長または非形式的であるため、長いビデオの基本的な性質を無視する。
• 参考スコア（独自算出の注目度）: 57.917616284917756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While most modern video understanding models operate on short-range clips, real-world videos are often several minutes long with semantically consistent segments of variable length. A common approach to process long videos is applying a short-form video model over uniformly sampled clips of fixed temporal length and aggregating the outputs. This approach neglects the underlying nature of long videos since fixed-length clips are often redundant or uninformative. In this paper, we aim to provide a generic and adaptive sampling approach for long-form videos in lieu of the de facto uniform sampling. Viewing videos as semantically consistent segments, we formulate a task-agnostic, unsupervised, and scalable approach based on Kernel Temporal Segmentation (KTS) for sampling and tokenizing long videos. We evaluate our method on long-form video understanding tasks such as video classification and temporal action localization, showing consistent gains over existing approaches and achieving state-of-the-art performance on long-form video modeling.
• Abstract（参考訳）: ほとんどの現代のビデオ理解モデルは短い範囲のクリップで動くが、実世界のビデオはしばしば数分間の長さであり、意味的に一貫した長さのセグメントがある。 長いビデオを処理する一般的なアプローチは、一定時間の長さの均一にサンプリングされたクリップに短いビデオモデルを適用し、出力を集約することである。 このアプローチは、固定長クリップがしばしば冗長または非形式的であるため、長いビデオの基本的な性質を無視する。 本稿では,デファクトの一様サンプリングに代えて,長尺ビデオに対して汎用的かつ適応的なサンプリング手法を提供することを目的とする。 KTS(Kernel Temporal Segmentation)をベースとした,長いビデオのサンプリングとトークン化のためのタスク非依存,教師なし,スケーラブルなアプローチを定式化する。 本手法は,映像分類や時間的行動の局所化などの映像理解タスクにおいて,既存の手法よりも一貫した向上を示し,映像モデリングにおける最先端のパフォーマンスを実現する。

関連論文リスト

• LongVLM: Efficient Long Video Understanding via Large Language Models [55.813206751150716]
  LongVLMはビデオ理解のためのシンプルだが強力なビデオLLMである。 ローカル情報とグローバル情報の両方を含むビデオ表現をエンコードする。 我々のモデルは、長いビデオ理解のためのより正確な応答を生成する。
  論文  参考訳（メタデータ） (2024-04-04T11:33:29Z)
• Multi-Modal Video Topic Segmentation with Dual-Contrastive Domain Adaptation [74.51546366251753]
  ビデオトピックセグメンテーションは、ビデオの基礎となる粗い粒度のセマンティック構造を明らかにする。 ビデオの書き起こしとフレームの両方を利用するマルチモーダルなビデオトピックセグメンタを提案する。 提案手法は, 精度と転送性の両方の観点から, ベースライン法をはるかに上回っている。
  論文  参考訳（メタデータ） (2023-11-30T21:59:05Z)
• Video Generation Beyond a Single Clip [76.5306434379088]
  ビデオ生成モデルは、実際のビデオの長さと比較して比較的短いビデオクリップしか生成できない。 多様なコンテンツや複数のイベントをカバーした長いビデオを生成するために,ビデオ生成プロセスを制御するための追加のガイダンスを提案する。 提案手法は、固定時間ウィンドウ内でリアルな映像を生成することに焦点を当てた、既存の映像生成の取り組みを補完するものである。
  論文  参考訳（メタデータ） (2023-04-15T06:17:30Z)
• Generating Long Videos of Dynamic Scenes [66.56925105992472]
  本稿では、物体の動きを再現する映像生成モデル、カメラ視点の変化、時間とともに現れる新しいコンテンツについて述べる。 よくある障害ケースは、コンテンツが時間的一貫性を提供する誘導バイアスに過度に依存するため、決して変化しないことです。
  論文  参考訳（メタデータ） (2022-06-07T16:29:51Z)
• Temporally stable video segmentation without video annotations [6.184270985214255]
  静止画像分割モデルを教師なしの方法でビデオに適応させる手法を提案する。 整合性尺度がヒトの判断とよく相関していることを検証する。 生成したセグメンテーションビデオの精度の低下を最小限に抑えて改善を観察する。
  論文  参考訳（メタデータ） (2021-10-17T18:59:11Z)
• Beyond Short Clips: End-to-End Video-Level Learning with Collaborative Memories [56.91664227337115]
  本稿では,ビデオの複数のサンプルクリップにまたがる情報を,トレーニングイテレーション毎にエンコードするコラボレーティブメモリ機構を提案する。 これにより、単一のクリップ以上の長距離依存関係の学習が可能になる。 提案するフレームワークはエンドツーエンドでトレーニング可能で,計算オーバーヘッドが無視できないビデオ分類精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-02T18:59:09Z)
• A Hierarchical Multi-Modal Encoder for Moment Localization in Video Corpus [31.387948069111893]
  テキストクエリにセマンティックにマッチする長いビデオにおいて、短いセグメントを識別する方法を示す。 この問題に対処するために、粗いクリップレベルと微調整フレームレベルの両方でビデオをエンコードするHierArchical Multi-Modal EncodeR (HAMMER)を提案する。 我々は、ActivityNet CaptionsとTVRデータセット上のビデオコーパスにおけるモーメントローカライゼーションのモデルを評価するために、広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2020-11-18T02:42:36Z)
• STEm-Seg: Spatio-temporal Embeddings for Instance Segmentation in Videos [17.232631075144592]
  例えば、ビデオのセグメンテーションは、通常、トラッキング・バイ・検出のパラダイムに従っている。 単一段階における時間と空間をまたいだインスタンスのセグメント化と追跡を行う新しい手法を提案する。 提案手法は,複数のデータセットやタスクにまたがる最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2020-03-18T18:40:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。