論文の概要: Learning Long-form Video Prior via Generative Pre-Training

• arxiv url: http://arxiv.org/abs/2404.15909v1
• Date: Wed, 24 Apr 2024 15:03:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 18:51:25.193376
• Title: Learning Long-form Video Prior via Generative Pre-Training
• Title（参考訳）: 生成的事前学習による長手ビデオの事前学習
• Authors: Jinheng Xie, Jiajun Feng, Zhaoxu Tian, Kevin Qinghong Lin, Yawen Huang, Xi Xia, Nanxu Gong, Xu Zuo, Jiaqi Yang, Yefeng Zheng, Mike Zheng Shou,
• Abstract要約: 人、オブジェクト、そしてそれらの相互作用のような長いビデオにかかわる概念は、暗黙の事前に従うものとして見ることができる。 近年、生成的事前学習は、視覚的位置さえも、あらゆる種類のテキストコンテンツをモデル化する多彩な能力を示している。 ピクセル空間を操作する代わりに、バウンディングボックスやキーポイントのような視覚的な場所を使ってビデオのキー情報を表現することが効果的である。
• 参考スコア（独自算出の注目度）: 31.007804044805315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concepts involved in long-form videos such as people, objects, and their interactions, can be viewed as following an implicit prior. They are notably complex and continue to pose challenges to be comprehensively learned. In recent years, generative pre-training (GPT) has exhibited versatile capacities in modeling any kind of text content even visual locations. Can this manner work for learning long-form video prior? Instead of operating on pixel space, it is efficient to employ visual locations like bounding boxes and keypoints to represent key information in videos, which can be simply discretized and then tokenized for consumption by GPT. Due to the scarcity of suitable data, we create a new dataset called \textbf{Storyboard20K} from movies to serve as a representative. It includes synopses, shot-by-shot keyframes, and fine-grained annotations of film sets and characters with consistent IDs, bounding boxes, and whole body keypoints. In this way, long-form videos can be represented by a set of tokens and be learned via generative pre-training. Experimental results validate that our approach has great potential for learning long-form video prior. Code and data will be released at \url{https://github.com/showlab/Long-form-Video-Prior}.
• Abstract（参考訳）: 人、オブジェクト、そしてそれらの相互作用のような長いビデオにかかわる概念は、暗黙の事前に従うものとして見ることができる。 それらは特に複雑で、包括的に学ぶための課題を提起し続けています。 近年、生成事前学習(GPT)は、視覚的位置さえも、どんな種類のテキストコンテンツでもモデリングできる多彩な能力を示している。 この方法は、長めのビデオの学習に役立ちますか? ピクセル空間を操作する代わりに、バウンディングボックスやキーポイントのような視覚的な場所をビデオのキー情報として使うのが効果的である。 適切なデータが不足しているため、映画から \textbf{Storyboard20K} と呼ばれる新しいデータセットを作成し、代表として機能させる。 シナプス、ショット・バイ・ショットのキーフレーム、一貫したID、バウンディングボックス、ボディキーポイントを含むフィルムセットと文字の細かいアノテーションが含まれる。 このようにして、ロングフォームビデオはトークンのセットで表現することができ、生成前のトレーニングを通じて学習することができる。 実験結果から,本手法は以前から長編ビデオの学習に有用であることが確認された。 コードとデータは \url{https://github.com/showlab/Long-form-Video-Prior} でリリースされる。

関連論文リスト

• InternVideo2: Scaling Foundation Models for Multimodal Video Understanding [51.129913789991924]
  InternVideo2は、ビデオファウンデーションモデル(FM)の新たなファミリーで、ビデオ認識、ビデオ音声タスク、ビデオ中心タスクの最先端の結果を達成する。 私たちのコアデザインは、マスク付きビデオモデリング、クロスコントラスト学習、予測トークンを統合し、最大6Bビデオサイズまでスケールアップするプログレッシブトレーニングアプローチです。
  論文  参考訳（メタデータ） (2024-03-22T17:57:42Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• Harvest Video Foundation Models via Efficient Post-Pretraining [67.30842563833185]
  本稿では,画像から映像基盤モデルを抽出する効率的なフレームワークを提案する。 提案手法は,入力ビデオパッチをランダムにドロップし,プレトレーニング後の入力テキストをマスクアウトすることで,直感的に簡単である。 提案手法は,プレトレーニング済みの映像基盤モデルに匹敵する,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-10-30T14:06:16Z)
• Long-Form Video-Language Pre-Training with Multimodal Temporal Contrastive Learning [39.80936685227549]
  大規模ビデオ言語事前学習では、ビデオ言語理解タスクが大幅に改善されている。 我々は、VILA(Long-Form VIdeo-LAnguage Pre-Training Model)を導入し、大規模な長文ビデオおよび段落データセットでトレーニングする。 我々は、7つの下流の長文ビデオ言語理解タスクでモデルを微調整し、新しい最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-12T09:08:27Z)
• Phenaki: Variable Length Video Generation From Open Domain Textual Description [21.610541668826006]
  フェナキ(Phenaki)は、一連のテキストプロンプトを与えられたリアルなビデオ合成が可能なモデルである。 ビデオ表現を学習する新しいモデルは、ビデオを離散トークンの小さな表現に圧縮する。 私たちの知る限りでは、論文が時間変化プロンプトからビデオを生成するのは今回が初めてです。
  論文  参考訳（メタデータ） (2022-10-05T17:18:28Z)
• Frozen CLIP Models are Efficient Video Learners [86.73871814176795]
  ビデオ認識はエンドツーエンドの学習パラダイムに支配されている。 Contrastive Vision-Language Pre-Trainingの最近の進歩は、視覚認識タスクのための新しいルートの道を開く。 高品質なビデオ認識モデルを直接トレーニングする効率的なフレームワークである、効率的なビデオ学習を提案する。
  論文  参考訳（メタデータ） (2022-08-06T17:38:25Z)
• Text-Driven Video Acceleration: A Weakly-Supervised Reinforcement Learning Method [6.172652648945223]
  本稿では,テキストを用いた指導ビデオの高速化を目的とした,弱教師付き手法を提案する。 新たな共同報酬関数がエージェントを誘導し、どのフレームから入力ビデオを取り除き、ターゲット長に減らすかを選択する。 また,高度に識別可能な埋め込み空間を生成可能な拡張視覚誘導型文書注意ネットワーク(VDAN+)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:43:01Z)
• VIMPAC: Video Pre-Training via Masked Token Prediction and Contrastive Learning [82.09856883441044]
  ビデオ理解は、内部接続をモデル化するグローバルコンテンツを認識することに依存している。 空間領域と時間領域の両方で隣接するビデオトークンをマスクするブロックワイズ戦略を提案する。 また、グローバルコンテンツをさらにキャプチャするために、拡張不要なコントラスト学習手法も追加する。
  論文  参考訳（メタデータ） (2021-06-21T16:48:19Z)
• Less is More: ClipBERT for Video-and-Language Learning via Sparse Sampling [98.41300980759577]
  ビデオと言語の学習に対する標準的なアプローチは、オフラインで抽出された高密度ビデオ機能から学習するニューラルネットワークを規定する。 本稿では,ビデオ・言語タスクに対して,手頃なエンドツーエンド学習を可能にする汎用フレームワークClipBERTを提案する。 6つのデータセットにおけるテキスト・ビデオ検索とビデオ質問応答の実験は、ClipBERTが既存の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-02-11T18:50:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。