論文の概要: VideoXum: Cross-modal Visual and Textural Summarization of Videos

• arxiv url: http://arxiv.org/abs/2303.12060v3
• Date: Tue, 23 Apr 2024 17:55:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 20:24:35.326101
• Title: VideoXum: Cross-modal Visual and Textural Summarization of Videos
• Title（参考訳）: VideoXum:ビデオの視覚的およびテクスチャ的要約
• Authors: Jingyang Lin, Hang Hua, Ming Chen, Yikang Li, Jenhao Hsiao, Chiuman Ho, Jiebo Luo,
• Abstract要約: 我々は新しい共同ビデオとテキスト要約タスクを提案する。 目標は、短縮されたビデオクリップと、長いビデオから対応するテキスト要約の両方を生成することだ。 生成された短縮ビデオクリップとテキストナラティブは、セマンティックに適切に調整されるべきである。
• 参考スコア（独自算出の注目度）: 54.0985975755278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video summarization aims to distill the most important information from a source video to produce either an abridged clip or a textual narrative. Traditionally, different methods have been proposed depending on whether the output is a video or text, thus ignoring the correlation between the two semantically related tasks of visual summarization and textual summarization. We propose a new joint video and text summarization task. The goal is to generate both a shortened video clip along with the corresponding textual summary from a long video, collectively referred to as a cross-modal summary. The generated shortened video clip and text narratives should be semantically well aligned. To this end, we first build a large-scale human-annotated dataset -- VideoXum (X refers to different modalities). The dataset is reannotated based on ActivityNet. After we filter out the videos that do not meet the length requirements, 14,001 long videos remain in our new dataset. Each video in our reannotated dataset has human-annotated video summaries and the corresponding narrative summaries. We then design a novel end-to-end model -- VTSUM-BILP to address the challenges of our proposed task. Moreover, we propose a new metric called VT-CLIPScore to help evaluate the semantic consistency of cross-modality summary. The proposed model achieves promising performance on this new task and establishes a benchmark for future research.
• Abstract（参考訳）: ビデオ要約は、ソースビデオから最も重要な情報を抽出して、短縮されたクリップまたはテキストナラティブを生成することを目的としている。 伝統的に、出力がビデオかテキストかによって異なる方法が提案されており、視覚的要約とテキスト要約の2つの意味的関連タスクの相関を無視している。 我々は新しい共同ビデオとテキスト要約タスクを提案する。 目標は、短縮されたビデオクリップと、長いビデオから対応するテキスト要約の両方を生成し、まとめてクロスモーダル要約と呼ぶことである。 生成された短縮ビデオクリップとテキストナラティブは、セマンティックに適切に調整されるべきである。 この目的のために、私たちはまず、大規模な人間アノテーション付きデータセットであるVideoXum(Xは異なるモダリティを指す)を構築しました。 データセットはActivityNetに基づいて再注釈される。 長さ要件を満たさない動画をフィルタリングした後、新しいデータセットには14,001本のビデオが残っています。 再注釈されたデータセットの各ビデオには、人間の注釈付きビデオ要約と、対応する物語要約がある。 次に、提案課題に対処するため、新しいエンドツーエンドモデルであるVTSUM-BILPを設計する。 さらに,VT-CLIPScoreと呼ばれる新しい尺度を提案し,モダリティ間要約のセマンティクスの整合性を評価する。 提案手法は,本課題において有望な性能を達成し,今後の研究のためのベンチマークを確立する。

関連論文リスト

• Language-Guided Self-Supervised Video Summarization Using Text Semantic Matching Considering the Diversity of the Video [22.60291297308379]
  本研究では,映像要約タスクを自然言語処理(NLP)タスクに変換する可能性について検討する。 本手法は,ランク相関係数のSumMeデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-05-14T18:07:04Z)
• V2Xum-LLM: Cross-Modal Video Summarization with Temporal Prompt Instruction Tuning [76.26890864487933]
  ビデオ要約は、長いビデオの短く、正確で、結束的な要約を作ることを目的としている。 既存のデータセットのほとんどは、ビデオ間要約用に作成されている。 マルチモーダル映像要約への取り組みが近年行われている。
  論文  参考訳（メタデータ） (2024-04-18T17:32:46Z)
• Scaling Up Video Summarization Pretraining with Large Language Models [73.74662411006426]
  本稿では,大規模ビデオ要約データセットを生成するための,自動化されたスケーラブルなパイプラインを提案する。 我々は既存のアプローチの限界を分析し、それらに効果的に対処する新しいビデオ要約モデルを提案する。 我々の研究は、プロが注釈付けした高品質の要約を持つ1200本の長編ビデオを含む新しいベンチマークデータセットも提示した。
  論文  参考訳（メタデータ） (2024-04-04T11:59:06Z)
• Hierarchical Video-Moment Retrieval and Step-Captioning [68.4859260853096]
  HiRESTは、インストラクショナルビデオデータセットから3.4Kのテキストビデオペアで構成されている。 我々の階層的ベンチマークは、ビデオ検索、モーメント検索、2つの新しいモーメントセグメンテーション、ステップキャプションタスクからなる。
  論文  参考訳（メタデータ） (2023-03-29T02:33:54Z)
• TL;DW? Summarizing Instructional Videos with Task Relevance & Cross-Modal Saliency [133.75876535332003]
  我々は,ビデオ要約の未探索領域である指導ビデオの要約に焦点をあてる。 既存のビデオ要約データセットは、手動のフレームレベルのアノテーションに依存している。 本稿では,文脈対応の時間的ビデオエンコーダとセグメントスコアリング変換器を組み合わせた指導ビデオ要約ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-08-14T04:07:40Z)
• Video Summarization Based on Video-text Modelling [0.0]
  ビデオのセマンティック表現を得るために,マルチモーダルな自己教師型学習フレームワークを提案する。 また,より優れた要約を生成するために,動画内の重要なコンテンツを段階的にピンポイントするプログレッシブな映像要約手法も導入する。 映像分類に基づく映像要約の質を客観的に評価する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-01-07T15:21:46Z)
• CLIP-It! Language-Guided Video Summarization [96.69415453447166]
  この作業では、ジェネリックとクエリにフォーカスしたビデオ要約に対処する単一のフレームワークであるCLIP-Itを導入する。 本稿では,言語誘導型マルチモーダルトランスフォーマーを提案する。 本モデルは, 地道的な監督を伴わずに, 訓練により教師なしの設定に拡張することができる。
  論文  参考訳（メタデータ） (2021-07-01T17:59:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。