論文の概要: Multi-modal Video Chapter Generation

• arxiv url: http://arxiv.org/abs/2209.12694v1
• Date: Mon, 26 Sep 2022 13:44:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 14:27:26.863613
• Title: Multi-modal Video Chapter Generation
• Title（参考訳）: マルチモーダル映像生成
• Authors: Xiao Cao, Zitan Chen, Canyu Le, Lei Meng
• Abstract要約: そこで我々は,約10万のユーザ生成ビデオと注釈付き章情報からなる章-Genという新しいデータセットを紹介した。 我々のデータ収集手順は高速でスケーラブルで、追加のマニュアルアノテーションを必要としない。 提案手法は既存の手法よりも優れた結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 11.658507807110645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chapter generation becomes practical technique for online videos nowadays. The chapter breakpoints enable users to quickly find the parts they want and get the summative annotations. However, there is no public method and dataset for this task. To facilitate the research along this direction, we introduce a new dataset called Chapter-Gen, which consists of approximately 10k user-generated videos with annotated chapter information. Our data collection procedure is fast, scalable and does not require any additional manual annotation. On top of this dataset, we design an effective baseline specificlly for video chapters generation task. which captures two aspects of a video,including visual dynamics and narration text. It disentangles local and global video features for localization and title generation respectively. To parse the long video efficiently, a skip sliding window mechanism is designed to localize potential chapters. And a cross attention multi-modal fusion module is developed to aggregate local features for title generation. Our experiments demonstrate that the proposed framework achieves superior results over existing methods which illustrate that the method design for similar task cannot be transfered directly even after fine-tuning. Code and dataset are available at https://github.com/czt117/MVCG.
• Abstract（参考訳）: 現在、チャプター生成はオンラインビデオの実用的な技術となっている。 章のブレークポイントは、ユーザが望むパーツを素早く見つけ、要約的なアノテーションを得ることを可能にする。 しかし、このタスクの公開メソッドやデータセットはありません。 この方向に沿った研究を容易にするために,約10万のユーザ生成ビデオと注釈付き章情報からなる章-Genという新しいデータセットを導入する。 我々のデータ収集手順は高速でスケーラブルで、追加のマニュアルアノテーションを必要としない。 このデータセットの上に,ビデオチャプタ生成タスクに有効なベースラインを具体的に設計する。 ヴィジュアルダイナミクスとナレーションテキストを含む、ビデオの2つの側面をキャプチャします。 ローカライゼーションとタイトル生成のために、ローカルとグローバルのビデオ機能をそれぞれ切り離している。 長い映像を効率よく解析するために、潜在的チャプタをローカライズするスキップスライディングウインドウ機構が設計されている。 また、タイトル生成のための局所的な特徴を集約するクロスアテンション多モード融合モジュールを開発した。 実験により,提案手法は既存の手法よりも優れた結果を得ることができ,同様のタスクのメソッド設計は微調整後も直接転送できないことを示した。 コードとデータセットはhttps://github.com/czt117/MVCGで入手できる。

関連論文リスト

• PM-VIS+: High-Performance Video Instance Segmentation without Video Annotation [15.9587266448337]
  ビデオインスタンスのセグメンテーションには、ビデオ内のオブジェクトを検出し、セグメンテーションし、追跡する必要がある。 本稿では,画像データセットを利用してビデオアノテーションを除去する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T05:22:39Z)
• VidChapters-7M: Video Chapters at Scale [110.19323390486775]
  VidChapters-7Mは、合計で7M章を含む817万のユーザチャプター付きビデオのデータセットである。 VidChapters-7Mは、ユーザーが注釈を付けた章をスクラップすることで、オンラインビデオから自動的にスケーラブルな方法で作成される。 VidChapters-7Mの事前トレーニングは、ゼロショットと微調整の両方で、高密度な映像キャプションタスクに適していることを示す。
  論文  参考訳（メタデータ） (2023-09-25T08:38:11Z)
• UnLoc: A Unified Framework for Video Localization Tasks [82.59118972890262]
  UnLocは、未トリミングビデオにおける時間的ローカライズのための新しいアプローチである。 事前訓練された画像とテキストタワーを使用し、トークンをビデオテキスト融合モデルに供給する。 我々は,3つの異なるローカライゼーションタスクに対して,統一的なアプローチで成果を達成している。
  論文  参考訳（メタデータ） (2023-08-21T22:15:20Z)
• Hierarchical Video-Moment Retrieval and Step-Captioning [68.4859260853096]
  HiRESTは、インストラクショナルビデオデータセットから3.4Kのテキストビデオペアで構成されている。 我々の階層的ベンチマークは、ビデオ検索、モーメント検索、2つの新しいモーメントセグメンテーション、ステップキャプションタスクからなる。
  論文  参考訳（メタデータ） (2023-03-29T02:33:54Z)
• Temporal Perceiving Video-Language Pre-training [112.1790287726804]
  本研究は、時間的・意味的な微粒なアライメントを可能にする、新しいテキスト-ビデオのローカライゼーション・プレテキストタスクを導入する。 具体的には、テキスト-ビデオのローカライゼーションは、テキスト記述が与えられたビデオの開始と終了の境界を予測するモーメント検索から成っている。 提案手法は,細粒度フレーム表現と単語表現を結合し,単一モードにおける異なるインスタンスの表現を暗黙的に区別する。
  論文  参考訳（メタデータ） (2023-01-18T12:15:47Z)
• Visual Subtitle Feature Enhanced Video Outline Generation [23.831220964676973]
  ビデオ理解タスク,すなわちビデオアウトライン生成(VOG)を導入する。 VOGを学習し、評価するために、DuVOGと呼ばれる10k以上のデータセットを注釈付けします。 ビデオアウトライン生成モデル(VSENet)を提案する。
  論文  参考訳（メタデータ） (2022-08-24T05:26:26Z)
• Text-Driven Video Acceleration: A Weakly-Supervised Reinforcement Learning Method [6.172652648945223]
  本稿では,テキストを用いた指導ビデオの高速化を目的とした,弱教師付き手法を提案する。 新たな共同報酬関数がエージェントを誘導し、どのフレームから入力ビデオを取り除き、ターゲット長に減らすかを選択する。 また,高度に識別可能な埋め込み空間を生成可能な拡張視覚誘導型文書注意ネットワーク(VDAN+)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:43:01Z)
• Video-Text Pre-training with Learned Regions [59.30893505895156]
  Video-Textプレトレーニングは、大規模なビデオテキストペアから転送可能な表現を学ぶことを目的としている。 本研究では,大規模ビデオテキストペアの事前学習において,対象物の構造を考慮に入れたビデオテキスト学習用モジュール「RereaLearner」を提案する。
  論文  参考訳（メタデータ） (2021-12-02T13:06:53Z)
• Watch and Learn: Mapping Language and Noisy Real-world Videos with Self-supervision [54.73758942064708]
  我々は、明示的なアノテーションを使わずに、文章と騒々しいビデオスニペットのマッピングを学習することで、視覚と自然言語を理解するように機械に教える。 トレーニングと評価のために、多数のオンラインビデオとサブタイトルを含む新しいデータセットApartmenTourをコントリビュートする。
  論文  参考訳（メタデータ） (2020-11-19T03:43:56Z)
• Straight to the Point: Fast-forwarding Videos via Reinforcement Learning Using Textual Data [1.004766879203303]
  本稿では,指導ビデオの高速化を目的とした強化学習の定式化に基づく新しい手法を提案する。 本手法では,最終映像のギャップを生じさせることなく,情報伝達に関係のないフレームを適応的に選択できる。 本稿では,VDAN(Visually-Guided Document Attention Network)と呼ばれる新しいネットワークを提案する。
  論文  参考訳（メタデータ） (2020-03-31T14:07:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。