論文の概要: Zero-shot video highlight detection based on text descriptions and synthetic images

• arxiv url: http://arxiv.org/abs/2609.14790v1
• Date: Sun, 13 Sep 2026 21:03:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.972877
• Title: Zero-shot video highlight detection based on text descriptions and synthetic images
• Title（参考訳）: テキスト記述と合成画像に基づくゼロショット映像ハイライト検出
• Abstract要約: 本稿では,CLIP,大規模言語モデル(LLM),拡散モデルを組み合わせたゼロショットフレームワークを提案する。 LLMは、おそらくハイライトイベントのテキスト記述を生成し、合成視覚プロトタイプに変換する。 TVSumとSumMeの実験では、ゼロショットのパフォーマンスが強い。
• 参考スコア（独自算出の注目度）: 2.8628939818365935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting video highlights, the most informative or engaging moments in a video, is important for applications such as video summarization and content recommendation. We propose a zero-shot framework that combines CLIP, large language models (LLMs), and diffusion models. Given lightweight video metadata, such as a title or category, an LLM generates textual descriptions of likely highlight events. These descriptions are further converted into synthetic visual prototypes using a diffusion model. Textual and visual representations are matched to video frames using CLIP, enabling frame-level highlight detection without highlight annotations or dataset-specific training. Experiments on TVSum and SumMe demonstrate strong zero-shot performance, with particularly favorable results on TVSum. The proposed approach provides an effective framework for metadata-conditioned zero-shot video highlight detection.
• Abstract（参考訳）: ビデオのハイライトを検出することは、ビデオの要約やコンテンツレコメンデーションといったアプリケーションにとって重要である。 本稿では,CLIP,大規模言語モデル(LLM),拡散モデルを組み合わせたゼロショットフレームワークを提案する。 タイトルやカテゴリなどの軽量なビデオメタデータが与えられた後、LLMはハイライトイベントのテキスト記述を生成する。 これらの記述は拡散モデルを用いて合成視覚プロトタイプに変換される。 テキストとビジュアルの表現は、CLIPを使用してビデオフレームにマッチし、ハイライトアノテーションやデータセット固有のトレーニングを使わずに、フレームレベルのハイライト検出を可能にする。 TVSumとSumMeの実験ではゼロショットのパフォーマンスが強く、TVSumでは特に好評だった。 提案手法はメタデータ条件のゼロショットビデオハイライト検出に有効なフレームワークを提供する。

関連論文リスト

• Unsupervised Transcript-assisted Video Summarization and Highlight Detection [6.80224810039938]
  本稿では,ビデオフレームとその対応する文字起こしを活用して,より凝縮したビデオを生成するマルチモーダルパイプラインを提案する。 パイプラインはRLフレームワーク内でトレーニングされ、多彩で代表的な要約を生成するモデルに報酬を与える。 実験の結果,映像の要約やハイライト検出における転写文字の使用は,映像の視覚的内容にのみ依存するよりも優れた結果が得られることがわかった。
  論文  参考訳（メタデータ） (2025-05-29T09:16:19Z)
• Video Summarization with Large Language Models [41.51242348081083]
  本稿では,近年のLarge Language Models (LLM) の機能を活用したビデオ要約フレームワークを提案する。 LLM-based Video Summarization (LLMVS) と呼ばれる我々の手法は、ビデオフレームをMulti-Modal Large Language Model (MLLM) を用いて一連のキャプションに変換する。 実験の結果,提案手法は標準ベンチマークにおける既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-04-15T13:56:14Z)
• VideoRAG: Retrieval-Augmented Generation over Video Corpus [57.68536380621672]
  VideoRAGは、クエリによる関連性に基づいて、動的にビデオを取得するフレームワークである。 VideoRAGは近年のLVLM(Large Video Language Models)を利用している。 我々は,ビデオRAGの有効性を実験的に検証し,関連するベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-10T11:17:15Z)
• Language-Guided Self-Supervised Video Summarization Using Text Semantic Matching Considering the Diversity of the Video [22.60291297308379]
  本研究では,映像要約タスクを自然言語処理(NLP)タスクに変換する可能性について検討する。 本手法は,ランク相関係数のSumMeデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-05-14T18:07:04Z)
• Learning text-to-video retrieval from image captioning [59.81537951811595]
  本稿では,未収録ビデオを用いたテキスト・ビデオ検索訓練のプロトコルについて述べる。 i) ビデオのラベルにアクセスできず、(ii) テキスト形式でラベル付き画像にアクセスすると仮定する。 画像キャプションによるビデオフレームの自動ラベル付けにより,テキスト対ビデオ検索のトレーニングが可能になることを示す。
  論文  参考訳（メタデータ） (2024-04-26T15:56:08Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• Videoprompter: an ensemble of foundational models for zero-shot video understanding [113.92958148574228]
  視覚言語モデル(VLM)は、視覚特徴とテキストベースのクラスラベル表現の類似点を計算することで、クエリビデオの分類を行う。 本稿では、事前学習されたディスクリミVLMと、事前学習された生成ビデオ・テキストモデルと、テキスト・テキストモデルを組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-23T19:45:46Z)
• VidCoM: Fast Video Comprehension through Large Language Models with Multimodal Tools [44.78291853329394]
  textbfVidCoMは、Large Language Models (LLM)を活用して、軽量なビジュアルツールを使用して動画を推論する高速適応フレームワークである。 InsOVERアルゴリズムは、言語命令の分解とビデオイベントの間の効率的なハンガリー語マッチングに基づいて、対応するビデオイベントを特定する。
  論文  参考訳（メタデータ） (2023-10-16T17:05:56Z)
• Video-Teller: Enhancing Cross-Modal Generation with Fusion and Decoupling [79.49128866877922]
  Video-Tellerは、マルチモーダル融合と微粒なモーダルアライメントを利用するビデオ言語基盤モデルである。 Video-Tellerは、凍結した事前訓練されたビジョンと言語モジュールを利用することで、トレーニング効率を高める。 大規模言語モデルの堅牢な言語機能を活用し、簡潔かつ精巧なビデオ記述の生成を可能にする。
  論文  参考訳（メタデータ） (2023-10-08T03:35:27Z)
• Transcript to Video: Efficient Clip Sequencing from Texts [65.87890762420922]
  Transcript-to-Video - テキストを入力として使用する弱教師付きフレームワークで、広範なショットコレクションからビデオシーケンスを自動的に生成する。 具体的には、視覚言語表現とモデルショットシークエンシングスタイルを学習するためのコンテンツ検索モジュールとテンポラルコヒーレントモジュールを提案する。 高速な推論のために,リアルタイムビデオクリップシークエンシングのための効率的な検索手法を提案する。
  論文  参考訳（メタデータ） (2021-07-25T17:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。