論文の概要: Conditional Modeling Based Automatic Video Summarization

• arxiv url: http://arxiv.org/abs/2311.12159v1
• Date: Mon, 20 Nov 2023 20:24:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 03:11:57.724549
• Title: Conditional Modeling Based Automatic Video Summarization
• Title（参考訳）: 条件モデルに基づく自動映像要約
• Authors: Jia-Hong Huang, Chao-Han Huck Yang, Pin-Yu Chen, Min-Hung Chen, Marcel Worring
• Abstract要約: ビデオ要約の目的は、全体を伝えるのに必要な重要な情報を保持しながら、自動的にビデオを短縮することである。 映像要約法は視覚的連続性や多様性などの視覚的要因に依存しており、ビデオの内容を完全に理解するには不十分である。 映像要約への新たなアプローチは、人間が地上の真実のビデオ要約を作成する方法から得られる知見に基づいて提案されている。
• 参考スコア（独自算出の注目度）: 70.96973928590958
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The aim of video summarization is to shorten videos automatically while retaining the key information necessary to convey the overall story. Video summarization methods mainly rely on visual factors, such as visual consecutiveness and diversity, which may not be sufficient to fully understand the content of the video. There are other non-visual factors, such as interestingness, representativeness, and storyline consistency that should also be considered for generating high-quality video summaries. Current methods do not adequately take into account these non-visual factors, resulting in suboptimal performance. In this work, a new approach to video summarization is proposed based on insights gained from how humans create ground truth video summaries. The method utilizes a conditional modeling perspective and introduces multiple meaningful random variables and joint distributions to characterize the key components of video summarization. Helper distributions are employed to improve the training of the model. A conditional attention module is designed to mitigate potential performance degradation in the presence of multi-modal input. The proposed video summarization method incorporates the above innovative design choices that aim to narrow the gap between human-generated and machine-generated video summaries. Extensive experiments show that the proposed approach outperforms existing methods and achieves state-of-the-art performance on commonly used video summarization datasets.
• Abstract（参考訳）: ビデオ要約の目的は、全体を伝えるのに必要な重要な情報を保持しながら、自動的にビデオを短縮することである。 ビデオ要約手法は主に視覚連続性や多様性といった視覚要因に依存しており、ビデオの内容を完全に理解するには不十分である。 興味、代表性、ストーリーラインの一貫性などの視覚的でない要素は、高品質のビデオ要約を生成するためにも考慮すべきである。 現在の手法ではこれらの非視覚的要因を十分に考慮していないため、最適以下の性能が得られる。 本研究では,人間による映像要約の作り方から得られた知見をもとに,映像要約への新たなアプローチを提案する。 この手法は条件付きモデリングの観点を利用し、複数の有意なランダム変数と共同分布を導入し、映像要約の重要な要素を特徴づける。 モデルのトレーニングを改善するためにヘルパー分布が用いられる。 条件付きアテンションモジュールは、マルチモーダル入力の存在下での潜在的な性能劣化を軽減するように設計されている。 提案手法は,人間生成ビデオと機械生成ビデオとのギャップを狭めることを目的とした,上述の革新的な設計手法を取り入れている。 広汎な実験により,提案手法は既存の手法よりも優れており,一般的なビデオ要約データセット上での最先端のパフォーマンスを実現する。

関連論文リスト

• Enhancing Video Summarization with Context Awareness [9.861215740353247]
  ビデオ要約は、ビデオの本質をキャプチャするテクニック、ショット、セグメントを選択することで、簡潔な要約を自動的に生成する。 ビデオ要約の重要性にもかかわらず、多様で代表的なデータセットが不足している。 本稿では,映像データ構造と情報を活用して情報要約を生成する教師なし手法を提案する。
  論文  参考訳（メタデータ） (2024-04-06T09:08:34Z)
• Scaling Up Video Summarization Pretraining with Large Language Models [73.74662411006426]
  本稿では,大規模ビデオ要約データセットを生成するための,自動化されたスケーラブルなパイプラインを提案する。 我々は既存のアプローチの限界を分析し、それらに効果的に対処する新しいビデオ要約モデルを提案する。 我々の研究は、プロが注釈付けした高品質の要約を持つ1200本の長編ビデオを含む新しいベンチマークデータセットも提示した。
  論文  参考訳（メタデータ） (2024-04-04T11:59:06Z)
• Causal Video Summarizer for Video Exploration [74.27487067877047]
  Causal Video Summarizer (CVS) はビデオとクエリ間の対話的な情報をキャプチャするために提案されている。 既存のマルチモーダル映像要約データセットの評価から,提案手法が有効であることを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2023-07-04T22:52:16Z)
• Video Summarization Based on Video-text Modelling [0.0]
  ビデオのセマンティック表現を得るために,マルチモーダルな自己教師型学習フレームワークを提案する。 また,より優れた要約を生成するために,動画内の重要なコンテンツを段階的にピンポイントするプログレッシブな映像要約手法も導入する。 映像分類に基づく映像要約の質を客観的に評価する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-01-07T15:21:46Z)
• GPT2MVS: Generative Pre-trained Transformer-2 for Multi-modal Video Summarization [18.543372365239673]
  提案モデルは,コンテキスト化された映像要約制御器,マルチモーダルアテンション機構,対話型アテンションネットワーク,映像要約生成器から構成される。 その結果, 最新手法と比較して, 精度5.88%, F1スコアが4.06%上昇し, このモデルが有効であることが示された。
  論文  参考訳（メタデータ） (2021-04-26T10:50:37Z)
• Comprehensive Information Integration Modeling Framework for Video Titling [124.11296128308396]
  エンド・ツー・エンド・エンド・モデリング・フレームワークにおいて、消費者生成ビデオの内容、消費者から提供される物語コメント文、製品属性などの包括的情報ソースを統合する。 この問題に対処するため,提案手法は,粒度レベルの相互作用モデリングと抽象レベルのストーリーライン要約という2つのプロセスから構成される。 グローバルなeコマースプラットフォームであるTaobaoの実際のデータから、大規模なデータセットを収集します。
  論文  参考訳（メタデータ） (2020-06-24T10:38:15Z)
• Transforming Multi-Concept Attention into Video Summarization [36.85535624026879]
  本稿では,複雑な映像データを用いた映像要約のための新しいアテンションベースフレームワークを提案する。 我々のモデルはラベル付きデータとラベルなしデータの両方に適用でき、実世界のアプリケーションに好適である。
  論文  参考訳（メタデータ） (2020-06-02T06:23:50Z)
• Non-Adversarial Video Synthesis with Learned Priors [53.26777815740381]
  我々は、参照入力フレームを使わずに、遅延雑音ベクトルからビデオを生成する問題に焦点をあてる。 本研究では,入力潜時空間,繰り返しニューラルネットワークの重み付け,非対角学習によるジェネレータを協調的に最適化する手法を開発した。 提案手法は,既存の最先端手法と比較して高品質なビデオを生成する。
  論文  参考訳（メタデータ） (2020-03-21T02:57:33Z)
• Convolutional Hierarchical Attention Network for Query-Focused Video Summarization [74.48782934264094]
  本稿では、ユーザのクエリと長いビデオを入力として取り込む、クエリ中心のビデオ要約の課題に対処する。 本稿では,特徴符号化ネットワークとクエリ関連計算モジュールの2つの部分からなる畳み込み階層型注意ネットワーク(CHAN)を提案する。 符号化ネットワークでは,局所的な自己認識機構と問合せ対応のグローバルアテンション機構を備えた畳み込みネットワークを用いて,各ショットの視覚情報を学習する。
  論文  参考訳（メタデータ） (2020-01-31T04:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。