論文の概要: Movie Trailer Genre Classification Using Multimodal Pretrained Features

• arxiv url: http://arxiv.org/abs/2410.19760v1
• Date: Fri, 11 Oct 2024 15:38:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-03 08:19:41.261466
• Title: Movie Trailer Genre Classification Using Multimodal Pretrained Features
• Title（参考訳）: マルチモーダル事前学習特徴を用いた映画トレーサのゲンレ分類
• Authors: Serkan Sulun, Paula Viana, Matthew E. P. Davies,
• Abstract要約: 本稿では,映画ジャンル分類のための新しい手法を提案する。 本手法は,映画予告編の映像フレームと音声フレームを時間プーリングを行なわずに活用する。 我々の手法は、精度、リコール、平均平均精度(mAP)の観点から、最先端の映画ジャンル分類モデルより優れている。
• 参考スコア（独自算出の注目度）: 1.1743167854433303
• License:
• Abstract: We introduce a novel method for movie genre classification, capitalizing on a diverse set of readily accessible pretrained models. These models extract high-level features related to visual scenery, objects, characters, text, speech, music, and audio effects. To intelligently fuse these pretrained features, we train small classifier models with low time and memory requirements. Employing the transformer model, our approach utilizes all video and audio frames of movie trailers without performing any temporal pooling, efficiently exploiting the correspondence between all elements, as opposed to the fixed and low number of frames typically used by traditional methods. Our approach fuses features originating from different tasks and modalities, with different dimensionalities, different temporal lengths, and complex dependencies as opposed to current approaches. Our method outperforms state-of-the-art movie genre classification models in terms of precision, recall, and mean average precision (mAP). To foster future research, we make the pretrained features for the entire MovieNet dataset, along with our genre classification code and the trained models, publicly available.
• Abstract（参考訳）: 本稿では,映画ジャンル分類のための新しい手法を提案する。 これらのモデルは、視覚的景観、オブジェクト、文字、テキスト、音声、音楽、オーディオ効果に関連する高レベルな特徴を抽出する。 これらの事前訓練された特徴をインテリジェントに融合させるために、低時間・メモリ要求の小さな分類器モデルを訓練する。 提案手法はトランスフォーマーモデルを用いて,時間プーリングを行わずに映画予告編の映像フレームと音声フレームを全て利用し,従来手法でよく用いられてきた固定・低数のフレームとは対照的に,全要素間の対応性を効果的に活用する。 我々のアプローチは、現在のアプローチとは対照的に、異なる次元、異なる時間長、複雑な依存関係を持つ異なるタスクとモダリティから派生した特徴を融合する。 本手法は,最新の映画ジャンル分類モデルよりも精度,リコール,平均精度(mAP)が優れている。 今後の研究を促進するため、MovieNetデータセット全体の事前訓練された機能と、ジャンル分類コードとトレーニングされたモデルが公開されています。

関連論文リスト

• Movie Recommendation with Poster Attention via Multi-modal Transformer Feature Fusion [4.228539709089597]
  本研究では,各映画のポスターの特徴を抽出し,マルチモーダルな映画レコメンデーションシステムを提案する。 概念実証モデルの効率は、MovieLens 100Kと1Mデータセットの標準ベンチマーク問題によって検証される。
  論文  参考訳（メタデータ） (2024-07-12T10:44:51Z)
• Purposer: Putting Human Motion Generation in Context [30.706219830149504]
  本研究では,3次元屋内シーンに人間の動きを再現する新しい手法を提案する。 シーン内のパス、ターゲットポーズ、過去の動き、そして3Dポイントの雲として表されるシーンなど、様々な条件信号の組み合わせで制御できる。
  論文  参考訳（メタデータ） (2024-04-19T15:16:04Z)
• UnLoc: A Unified Framework for Video Localization Tasks [82.59118972890262]
  UnLocは、未トリミングビデオにおける時間的ローカライズのための新しいアプローチである。 事前訓練された画像とテキストタワーを使用し、トークンをビデオテキスト融合モデルに供給する。 我々は,3つの異なるローカライゼーションタスクに対して,統一的なアプローチで成果を達成している。
  論文  参考訳（メタデータ） (2023-08-21T22:15:20Z)
• Revisiting Classifier: Transferring Vision-Language Models for Video Recognition [102.93524173258487]
  ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。 本研究では,映像分類作業における知識の伝達に着目した。 予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
  論文  参考訳（メタデータ） (2022-07-04T10:00:47Z)
• Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting [77.69172089359606]
  本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。 我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。 提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
  論文  参考訳（メタデータ） (2022-04-16T16:45:06Z)
• Movie Genre Classification by Language Augmentation and Shot Sampling [20.119729119879466]
  本稿では,Language augmentatIon とshot SamPling (Movie-CLIP) を用いた映画ジャンル分類手法を提案する。 Movie-CLIPは主に、入力オーディオから言語要素を認識する言語拡張モジュールと、ビデオ全体から代表ショットを選択するショットサンプリングモジュールの2つの部分で構成されている。 本手法をMovieNetとCondensed Moviesのデータセット上で評価し,平均精度(mAP)を平均6～9%向上させた。
  論文  参考訳（メタデータ） (2022-03-24T18:15:12Z)
• Leveraging Local Temporal Information for Multimodal Scene Classification [9.548744259567837]
  映像シーン分類モデルは、映像の空間的(ピクセル的に)および時間的(フレーム的に)特性を効果的に捉えなければならない。 トークン列が与えられた個々のトークンに対して文脈化された表現を得るように設計された自己注意型トランスフォーマーモデルは、多くのコンピュータビジョンタスクで人気が高まっている。 本稿では,ビデオフレーム間の局所的・大域的時間的関係を利用して,各フレームの文脈的表現をより良くする自己注意ブロックを提案する。
  論文  参考訳（メタデータ） (2021-10-26T19:58:32Z)
• ViViT: A Video Vision Transformer [75.74690759089529]
  ビデオ分類にpure-transformerベースのモデルを提案する。 本モデルでは,入力ビデオから時間トークンを抽出し,一連のトランスフォーマー層で符号化する。 トレーニング中にモデルを効果的に正規化し、トレーニング済みの画像モデルを利用して比較的小さなデータセットでトレーニングできることを示します。
  論文  参考訳（メタデータ） (2021-03-29T15:27:17Z)
• TSP: Temporally-Sensitive Pretraining of Video Encoders for Localization Tasks [79.01176229586855]
  本稿では,背景クリップとグローバルビデオ情報を考慮した時間感度向上のための教師付き事前学習パラダイムを提案する。 大規模実験により,新しい事前学習戦略で訓練した特徴を用いることで,最近の3つの課題における最先端手法の性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2020-11-23T15:40:15Z)
• Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA [96.10612095576333]
  本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。 また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。 当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-05-13T16:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。