論文の概要: Highlight Timestamp Detection Model for Comedy Videos via Multimodal
Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2106.00451v1
- Date: Fri, 28 May 2021 08:39:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-02 14:44:46.094878
- Title: Highlight Timestamp Detection Model for Comedy Videos via Multimodal
Sentiment Analysis
- Title（参考訳）: マルチモーダル感情分析によるコメディビデオのハイライトタイムスタンプ検出モデル
- Authors: Fan Huang
- Abstract要約: 本研究では,この分野での最先端性能を得るためのマルチモーダル構造を提案する。
マルチモーダルビデオ理解のためのベンチマークをいくつか選択し、最適な性能を求めるのに最適なモデルを適用した。
- 参考スコア（独自算出の注目度）: 1.6181085766811525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nowadays, the videos on the Internet are prevailing. The precise and in-depth
understanding of the videos is a difficult but valuable problem for both
platforms and researchers. The existing video understand models do well in
object recognition tasks but currently still cannot understand the abstract and
contextual features like highlight humor frames in comedy videos. The current
industrial works are also mainly focused on the basic category classification
task based on the appearances of objects. The feature detection methods for the
abstract category remains blank. A data structure that includes the information
of video frames, audio spectrum and texts provide a new direction to explore.
The multimodal models are proposed to make this in-depth video understanding
mission possible. In this paper, we analyze the difficulties in abstract
understanding of videos and propose a multimodal structure to obtain
state-of-the-art performance in this field. Then we select several benchmarks
for multimodal video understanding and apply the most suitable model to find
the best performance. At last, we evaluate the overall spotlights and drawbacks
of the models and methods in this paper and point out the possible directions
for further improvements.
- Abstract（参考訳）: 現在、インターネット上のビデオが普及している。
ビデオの正確かつ詳細な理解は、プラットフォームと研究者双方にとって難しいが価値のある問題だ。
既存のビデオは、オブジェクト認識のタスクでうまく機能するが、コメディビデオのハイライトユーモアフレームのような抽象的かつ文脈的な機能はまだ理解できない。
現在の産業作品は、主に対象物の外観に基づく基本的な分類課題に焦点が当てられている。
抽象カテゴリの特徴検出方法は空白のままである。
ビデオフレーム、オーディオスペクトル、テキストの情報を含むデータ構造は、探索するための新しい方向を提供する。
マルチモーダルモデルは、この深層ビデオ理解ミッションを可能にするために提案されている。
本稿では,ビデオの抽象的理解の難しさを解析し,この分野での最先端性能を得るためのマルチモーダル構造を提案する。
次に,マルチモーダルビデオ理解のためのベンチマークをいくつか選択し,最良性能を求めるために最も適したモデルを適用する。
最後に,本論文におけるモデルと手法の全体的なスポットライトと欠点を評価し,さらなる改善に向けた可能性を示す。
関連論文リスト
- ViLLa: Video Reasoning Segmentation with Large Language Model [48.75470418596875]
そこで我々は,新しいビデオセグメンテーションタスクであるビデオ推論セグメンテーションを提案する。
このタスクは、複雑な入力テキストクエリが与えられたセグメンテーションマスクのトラックレットを出力するように設計されている。
ViLLa: 大規模言語モデルを用いたビデオ推論セグメンテーションを提案する。
論文 参考訳（メタデータ） (2024-07-18T17:59:17Z) - Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである
合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。
我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
論文 参考訳（メタデータ） (2024-06-13T17:50:05Z) - Multi-Modal Video Topic Segmentation with Dual-Contrastive Domain
Adaptation [74.51546366251753]
ビデオトピックセグメンテーションは、ビデオの基礎となる粗い粒度のセマンティック構造を明らかにする。
ビデオの書き起こしとフレームの両方を利用するマルチモーダルなビデオトピックセグメンタを提案する。
提案手法は, 精度と転送性の両方の観点から, ベースライン法をはるかに上回っている。
論文 参考訳（メタデータ） (2023-11-30T21:59:05Z) - Conditional Modeling Based Automatic Video Summarization [70.96973928590958]
ビデオ要約の目的は、全体を伝えるのに必要な重要な情報を保持しながら、自動的にビデオを短縮することである。
映像要約法は視覚的連続性や多様性などの視覚的要因に依存しており、ビデオの内容を完全に理解するには不十分である。
映像要約への新たなアプローチは、人間が地上の真実のビデオ要約を作成する方法から得られる知見に基づいて提案されている。
論文 参考訳（メタデータ） (2023-11-20T20:24:45Z) - Query-aware Long Video Localization and Relation Discrimination for Deep
Video Understanding [15.697251303126874]
Deep Video Understanding (DVU) Challengeは、マルチモーダル抽出、融合、分析の境界を推し進めることを目的としている。
本稿では,画像言語事前学習モデルを利用して,長時間の動画のローカライゼーションと関係の識別を行うクエリアウェア手法を提案する。
本手法は,映画レベルの問合せの2つのグループにおいて,第1位と第4位を達成した。
論文 参考訳（メタデータ） (2023-10-19T13:26:02Z) - Language as the Medium: Multimodal Video Classification through text
only [3.744589644319257]
マルチモーダル映像情報をキャプチャする詳細なテキスト記述を生成するためのモデルに依存しない新しい手法を提案する。
本手法は, GPT-3.5 や Llama2 といった大規模言語モデルによって学習された広範な知識を活用する。
UCF-101 や Kinetics などの一般的な行動認識ベンチマークによる評価は,これらの文脈に富んだ記述をビデオ理解タスクでうまく利用できることを示す。
論文 参考訳（メタデータ） (2023-09-19T17:32:21Z) - TL;DW? Summarizing Instructional Videos with Task Relevance &
Cross-Modal Saliency [133.75876535332003]
我々は,ビデオ要約の未探索領域である指導ビデオの要約に焦点をあてる。
既存のビデオ要約データセットは、手動のフレームレベルのアノテーションに依存している。
本稿では,文脈対応の時間的ビデオエンコーダとセグメントスコアリング変換器を組み合わせた指導ビデオ要約ネットワークを提案する。
論文 参考訳（メタデータ） (2022-08-14T04:07:40Z) - Revisiting the "Video" in Video-Language Understanding [56.15777956496518]
本稿では,ビデオ言語解析の新しいモデルであるアテンポラルプローブ(ATP)を提案する。
現在のビデオ言語ベンチマークの限界とポテンシャルを特徴付ける。
ATPをフルビデオレベル時間モデルに効果的に統合することで、効率と最先端の精度が向上することを示す。
論文 参考訳（メタデータ） (2022-06-03T17:57:33Z) - A Survey on Deep Learning Technique for Video Segmentation [147.0767454918527]
ビデオセグメンテーションは幅広い応用において重要な役割を果たしている。
ディープラーニングベースのアプローチは、ビデオセグメンテーションに特化しており、魅力的なパフォーマンスを提供している。
論文 参考訳（メタデータ） (2021-07-02T15:51:07Z) - TNT: Text-Conditioned Network with Transductive Inference for Few-Shot
Video Classification [26.12591949900602]
テキストベースのタスクコンディショナーを定式化し、ビデオの特徴を数ショットの学習タスクに適応させる。
本モデルでは,4つの挑戦的ベンチマークを用いて,数発の動画アクション分類における最先端性能を得る。
論文 参考訳（メタデータ） (2021-06-21T15:08:08Z) - A Hierarchical Multi-Modal Encoder for Moment Localization in Video
Corpus [31.387948069111893]
テキストクエリにセマンティックにマッチする長いビデオにおいて、短いセグメントを識別する方法を示す。
この問題に対処するために、粗いクリップレベルと微調整フレームレベルの両方でビデオをエンコードするHierArchical Multi-Modal EncodeR (HAMMER)を提案する。
我々は、ActivityNet CaptionsとTVRデータセット上のビデオコーパスにおけるモーメントローカライゼーションのモデルを評価するために、広範囲にわたる実験を行った。
論文 参考訳（メタデータ） (2020-11-18T02:42:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。