論文の概要: Mind the Time: Temporally-Controlled Multi-Event Video Generation

• arxiv url: http://arxiv.org/abs/2412.05263v1
• Date: Fri, 06 Dec 2024 18:52:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:55:59.100698
• Title: Mind the Time: Temporally-Controlled Multi-Event Video Generation
• Title（参考訳）: Mind the Time: テンポラリに調整されたマルチイベントビデオ生成
• Authors: Ziyi Wu, Aliaksandr Siarohin, Willi Menapace, Ivan Skorokhodov, Yuwei Fang, Varnith Chordia, Igor Gilitschenski, Sergey Tulyakov,
• Abstract要約: 時間制御を備えたマルチイベントビデオジェネレータMinTを提案する。 私たちの重要な洞察は、各イベントを生成されたビデオの特定の期間にバインドすることで、モデルが一度にひとつのイベントに集中できるようにすることです。 文献の中ではじめて、我々のモデルは生成されたビデオのイベントのタイミングを制御できる。
• 参考スコア（独自算出の注目度）: 65.05423863685866
• License:
• Abstract: Real-world videos consist of sequences of events. Generating such sequences with precise temporal control is infeasible with existing video generators that rely on a single paragraph of text as input. When tasked with generating multiple events described using a single prompt, such methods often ignore some of the events or fail to arrange them in the correct order. To address this limitation, we present MinT, a multi-event video generator with temporal control. Our key insight is to bind each event to a specific period in the generated video, which allows the model to focus on one event at a time. To enable time-aware interactions between event captions and video tokens, we design a time-based positional encoding method, dubbed ReRoPE. This encoding helps to guide the cross-attention operation. By fine-tuning a pre-trained video diffusion transformer on temporally grounded data, our approach produces coherent videos with smoothly connected events. For the first time in the literature, our model offers control over the timing of events in generated videos. Extensive experiments demonstrate that MinT outperforms existing open-source models by a large margin.
• Abstract（参考訳）: 実世界のビデオは一連の出来事で構成されている。 このようなシーケンスを正確な時間制御で生成することは、入力として1段落のテキストに依存する既存のビデオジェネレータでは不可能である。 単一のプロンプトを使って記述された複数のイベントを生成するタスクをこなすと、そのようなメソッドはイベントの一部を無視したり、正しい順序で配置しなかったりする。 この制限に対処するため、時間制御を備えたマルチイベントビデオジェネレータMinTを提案する。 私たちの重要な洞察は、各イベントを生成されたビデオの特定の期間にバインドすることで、モデルが一度にひとつのイベントに集中できるようにすることです。 イベントキャプションとビデオトークン間のタイムアウェアなインタラクションを実現するため,ReRoPEと呼ばれる時間ベースの位置符号化手法を設計する。 このエンコーディングは、クロスアテンション操作をガイドするのに役立ちます。 時間的グラウンドデータに基づいて事前学習したビデオ拡散変換器を微調整することにより、スムーズな連結イベントを伴うコヒーレントなビデオを生成する。 文献の中ではじめて、我々のモデルは生成されたビデオのイベントのタイミングを制御できる。 大規模な実験により、MinTは既存のオープンソースモデルよりも大きなマージンで優れていることが示された。

関連論文リスト

• TRACE: Temporal Grounding Video LLM via Causal Event Modeling [6.596327795743185]
  ビデオ時間グラウンド(VTG)は、ビデオ理解モデルにとって重要な機能であり、ビデオブラウジングや編集などの下流タスクにおいて重要な役割を果たす。 現在のビデオLLMは自然言語生成のみに依存しており、ビデオに固有の明確な構造をモデル化する能力がない。 本稿では,映像をイベントのシーケンスとして表現する因果イベントモデリングフレームワークを導入し,過去のイベントやビデオ入力,テクスチャインストラクションを用いて現在のイベントを予測する。 本稿では,TRACE と呼ばれるタスクインターリーブビデオ LLM を提案し,実際に因果イベントモデリングフレームワークを効果的に実装する。
  論文  参考訳（メタデータ） (2024-10-08T02:46:30Z)
• Grounding Partially-Defined Events in Multimodal Data [61.0063273919745]
  部分定義イベントに対するマルチモーダル定式化を導入し、これらのイベントの抽出を3段階スパン検索タスクとしてキャストする。 このタスクのベンチマークであるMultiVENT-Gを提案し,22.8Kのラベル付きイベント中心エンティティを含む,14.5時間の高密度アノテーション付き現在のイベントビデオと1,168のテキストドキュメントからなる。 結果は、イベント理解の抽象的な課題を示し、イベント中心のビデオ言語システムにおける約束を実証する。
  論文  参考訳（メタデータ） (2024-10-07T17:59:48Z)
• EA-VTR: Event-Aware Video-Text Retrieval [97.30850809266725]
  Event-Aware Video-Text Retrievalモデルは、優れたビデオイベント認識を通じて、強力なビデオテキスト検索能力を実現する。 EA-VTRはフレームレベルとビデオレベルの視覚表現を同時にエンコードすることができ、詳細なイベント内容と複雑なイベントの時間的相互アライメントを可能にする。
  論文  参考訳（メタデータ） (2024-07-10T09:09:58Z)
• Event-aware Video Corpus Moment Retrieval [79.48249428428802]
  Video Corpus Moment Retrieval(VCMR)は、未編集ビデオの膨大なコーパス内の特定の瞬間を特定することに焦点を当てた、実用的なビデオ検索タスクである。 VCMRの既存の方法は、典型的にはフレーム対応のビデオ検索に依存し、クエリとビデオフレーム間の類似性を計算して、ビデオをランク付けする。 本研究では,ビデオ検索の基本単位として,ビデオ内のイベントを明示的に活用するモデルであるEventFormerを提案する。
  論文  参考訳（メタデータ） (2024-02-21T06:55:20Z)
• MEVG: Multi-event Video Generation with Text-to-Video Models [18.06640097064693]
  本稿では,ユーザから複数の個々の文が与えられた複数のイベントを示すビデオを生成する,拡散に基づく新しいビデオ生成手法を提案する。 本手法は, 微調整処理を伴わずに, 事前学習したテキスト・ビデオ生成モデルを使用するため, 大規模なビデオデータセットを必要としない。 提案手法は,コンテンツとセマンティクスの時間的コヒーレンシーの観点から,他のビデオ生成モデルよりも優れている。
  論文  参考訳（メタデータ） (2023-12-07T06:53:25Z)
• Knowing Where to Focus: Event-aware Transformer for Video Grounding [40.526461893854226]
  イベント対応動的モーメントクエリを定式化し、入力固有のコンテンツと動画の位置情報を考慮に入れます。 実験では、イベント対応動的モーメントクエリの有効性と効率を実証し、いくつかのビデオグラウンドベンチマークで最先端のアプローチより優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-14T05:54:32Z)
• Unifying Event Detection and Captioning as Sequence Generation via Pre-Training [53.613265415703815]
  本稿では,イベント検出とキャプションのタスク間関連性を高めるための,事前学習と微調整の統合フレームワークを提案する。 我々のモデルは最先端の手法よりも優れており、大規模ビデオテキストデータによる事前学習ではさらに向上できる。
  論文  参考訳（メタデータ） (2022-07-18T14:18:13Z)
• VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding [13.640902299569008]
  我々は、ゼロショットビデオとテキスト理解のための統一モデルを事前訓練するための対照的なアプローチであるVideoCLIPを提案する。 VideoCLIPは、ビデオとテキストの変換器を、近隣の検索から強陰性で時間的に重なり合うビデオテキストペアと対比することによって訓練する。
  論文  参考訳（メタデータ） (2021-09-28T23:01:51Z)
• Team RUC_AIM3 Technical Report at Activitynet 2020 Task 2: Exploring Sequential Events Detection for Dense Video Captioning [63.91369308085091]
  本稿では、イベントシーケンス生成のための新規でシンプルなモデルを提案し、ビデオ中のイベントシーケンスの時間的関係を探索する。 提案モデルでは,非効率な2段階提案生成を省略し,双方向時間依存性を条件としたイベント境界を直接生成する。 総合システムは、チャレンジテストセットの9.894 METEORスコアで、ビデオタスクにおける密封イベントの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-06-14T13:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。