論文の概要: Unsupervised Transcript-assisted Video Summarization and Highlight Detection

• arxiv url: http://arxiv.org/abs/2505.23268v1
• Date: Thu, 29 May 2025 09:16:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.781454
• Title: Unsupervised Transcript-assisted Video Summarization and Highlight Detection
• Title（参考訳）: 教師なしトランスクリプト支援映像要約と光検出
• Authors: Spyros Barbakos, Charalampos Antoniadis, Gerasimos Potamianos, Gianluca Setti,
• Abstract要約: 本稿では,ビデオフレームとその対応する文字起こしを活用して,より凝縮したビデオを生成するマルチモーダルパイプラインを提案する。 パイプラインはRLフレームワーク内でトレーニングされ、多彩で代表的な要約を生成するモデルに報酬を与える。 実験の結果,映像の要約やハイライト検出における転写文字の使用は,映像の視覚的内容にのみ依存するよりも優れた結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 6.80224810039938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video consumption is a key part of daily life, but watching entire videos can be tedious. To address this, researchers have explored video summarization and highlight detection to identify key video segments. While some works combine video frames and transcripts, and others tackle video summarization and highlight detection using Reinforcement Learning (RL), no existing work, to the best of our knowledge, integrates both modalities within an RL framework. In this paper, we propose a multimodal pipeline that leverages video frames and their corresponding transcripts to generate a more condensed version of the video and detect highlights using a modality fusion mechanism. The pipeline is trained within an RL framework, which rewards the model for generating diverse and representative summaries while ensuring the inclusion of video segments with meaningful transcript content. The unsupervised nature of the training allows for learning from large-scale unannotated datasets, overcoming the challenge posed by the limited size of existing annotated datasets. Our experiments show that using the transcript in video summarization and highlight detection achieves superior results compared to relying solely on the visual content of the video.
• Abstract（参考訳）: ビデオの消費は日常生活の重要な部分だが、ビデオ全体を見るのは面倒だ。 これを解決するために、研究者はビデオの要約とハイライト検出を探索し、主要なビデオセグメントを特定した。 ビデオフレームと文字起こしを組み合わせた作品もあれば、RL(Reinforcement Learning)を用いた映像要約とハイライト検出に取り組む作品もあるが、我々の知る限りでは、既存の作品にはRLフレームワークに両方のモダリティを統合するものはない。 本稿では,ビデオフレームとその対応する文字起こしを利用するマルチモーダルパイプラインを提案し,より凝縮したビデオを生成するとともに,モダリティ融合機構を用いてハイライトを検出する。 パイプラインはRLフレームワーク内でトレーニングされ、多彩で代表的な要約を生成するモデルに報いると同時に、意味のある書き起こしコンテンツを含むビデオセグメントが確実に含まれる。 トレーニングの教師なしの性質は、大規模な無注釈データセットから学習を可能にし、既存のアノテートデータセットの限られたサイズによって引き起こされる課題を克服する。 実験の結果,映像の要約やハイライト検出における転写文字の使用は,映像の視覚的内容にのみ依存するよりも優れた結果が得られることがわかった。

関連論文リスト

• VideoRAG: Retrieval-Augmented Generation over Video Corpus [57.68536380621672]
  VideoRAGは、クエリによる関連性に基づいて、動的にビデオを取得するフレームワークである。 VideoRAGは近年のLVLM(Large Video Language Models)を利用している。 我々は,ビデオRAGの有効性を実験的に検証し,関連するベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-10T11:17:15Z)
• Video Decomposition Prior: A Methodology to Decompose Videos into Layers [74.36790196133505]
  本稿では,プロのビデオ編集の実践からインスピレーションを得た,VDP以前の新しいビデオ分解手法を提案する。 VDPフレームワークは、ビデオシーケンスを複数のRGBレイヤと関連する不透明度レベルに分解する。 ビデオオブジェクトのセグメンテーション、デハジング、リライティングといったタスクに対処する。
  論文  参考訳（メタデータ） (2024-12-06T10:35:45Z)
• Scaling Up Video Summarization Pretraining with Large Language Models [73.74662411006426]
  本稿では,大規模ビデオ要約データセットを生成するための,自動化されたスケーラブルなパイプラインを提案する。 我々は既存のアプローチの限界を分析し、それらに効果的に対処する新しいビデオ要約モデルを提案する。 我々の研究は、プロが注釈付けした高品質の要約を持つ1200本の長編ビデオを含む新しいベンチマークデータセットも提示した。
  論文  参考訳（メタデータ） (2024-04-04T11:59:06Z)
• InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation [90.71796406228265]
  InternVidは大規模なビデオ中心のマルチモーダルデータセットで、強力で転送可能なビデオテキスト表現の学習を可能にする。 InternVidデータセットは700万本以上のビデオが760万時間近く持続し、合計4.1Bワードの詳細な記述を伴う234万本のビデオクリップが生成される。
  論文  参考訳（メタデータ） (2023-07-13T17:58:32Z)
• TL;DW? Summarizing Instructional Videos with Task Relevance & Cross-Modal Saliency [133.75876535332003]
  我々は,ビデオ要約の未探索領域である指導ビデオの要約に焦点をあてる。 既存のビデオ要約データセットは、手動のフレームレベルのアノテーションに依存している。 本稿では,文脈対応の時間的ビデオエンコーダとセグメントスコアリング変換器を組み合わせた指導ビデオ要約ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-08-14T04:07:40Z)
• Video Summarization Based on Video-text Modelling [0.0]
  ビデオのセマンティック表現を得るために,マルチモーダルな自己教師型学習フレームワークを提案する。 また,より優れた要約を生成するために,動画内の重要なコンテンツを段階的にピンポイントするプログレッシブな映像要約手法も導入する。 映像分類に基づく映像要約の質を客観的に評価する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-01-07T15:21:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。