論文の概要: Learning Trailer Moments in Full-Length Movies

• arxiv url: http://arxiv.org/abs/2008.08502v1
• Date: Wed, 19 Aug 2020 15:23:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 12:08:50.885497
• Title: Learning Trailer Moments in Full-Length Movies
• Title（参考訳）: 全長映画におけるトレーラーモーメントの学習
• Authors: Lezi Wang, Dong Liu, Rohit Puri, and Dimitris N. Metaxas
• Abstract要約: 我々は、正式に公開された予告編を弱い監督力として活用し、フル長の映画から重要な瞬間を検知できるモデルを学ぶ。 本稿では,映画とトレーラーのコ・アテンションを利用してトレーニングペアを生成する新しいランキングネットワークを提案する。 我々は,最初の映画トレーラデータセットを構築し,提案するコ・アテンション支援ランキングネットワークは,教師付きアプローチよりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 49.74693903050302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A movie's key moments stand out of the screenplay to grab an audience's attention and make movie browsing efficient. But a lack of annotations makes the existing approaches not applicable to movie key moment detection. To get rid of human annotations, we leverage the officially-released trailers as the weak supervision to learn a model that can detect the key moments from full-length movies. We introduce a novel ranking network that utilizes the Co-Attention between movies and trailers as guidance to generate the training pairs, where the moments highly corrected with trailers are expected to be scored higher than the uncorrelated moments. Additionally, we propose a Contrastive Attention module to enhance the feature representations such that the comparative contrast between features of the key and non-key moments are maximized. We construct the first movie-trailer dataset, and the proposed Co-Attention assisted ranking network shows superior performance even over the supervised approach. The effectiveness of our Contrastive Attention module is also demonstrated by the performance improvement over the state-of-the-art on the public benchmarks.
• Abstract（参考訳）: 映画のキーモーメントは、観客の注意を引き、映画のブラウジングを効率的にするため、脚本から際立っている。 しかし、アノテーションがないため、既存のアプローチは映画のキーモーメント検出には適用できない。 人間のアノテーションを取り除くために、私たちは公開されたトレーラーを弱い監督として活用し、長編映画から重要な瞬間を検知するモデルを学びます。 映画とトレーラー間のコ・アテンションを利用してトレーニングペアを生成する新しいランキングネットワークを導入し、トレーラーで高度に補正されたモーメントは、非相関なモーメントよりも高いスコアが期待できる。 さらに、キーと非キーのモーメントの特徴間の比較コントラストが最大になるような特徴表現を強化するためのContrastive Attentionモジュールを提案する。 我々は,最初の映画トレーラデータセットを構築し,提案する協調支援ランキングネットワークは,教師付きアプローチよりも優れた性能を示す。 我々のContrastive Attentionモジュールの有効性は、公開ベンチマークの最先端よりもパフォーマンスが向上していることからも示される。

関連論文リスト

• No More Shortcuts: Realizing the Potential of Temporal Self-Supervision [69.59938105887538]
  本稿では、フレームレベルの認識タスクではなく、フレームレベルの認識タスクとして、時間的自己監督のより困難な再構築を提案する。 我々は、より困難なフレームレベルのタスクの定式化とショートカットの削除が、時間的自己監督によって学習された特徴の質を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2023-12-20T13:20:31Z)
• Self-supervised and Weakly Supervised Contrastive Learning for Frame-wise Action Representations [26.09611987412578]
  本稿では,フレームワイドな行動表現を自己監督的あるいは弱監督的に学習するための,コントラッシブ・アクション表現学習(CARL)の枠組みを紹介する。 具体的には,空間的コンテキストと時間的コンテキストの両方を考慮した,シンプルだが効果的なビデオエンコーダを提案する。 提案手法は,下流の微細な動作分類とより高速な推論において,従来の最先端技術よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-06T16:42:22Z)
• Less than Few: Self-Shot Video Instance Segmentation [50.637278655763616]
  質問に対して適切なサポートビデオの検索を自動で行うことを提案する。 私たちは、ビデオインスタンスのセグメンテーションを、セルフショット(と数ショット)の設定で初めて取り組んだ。 我々は,新しいトランスモデルを用いた強力なベースライン性能を提供する。
  論文  参考訳（メタデータ） (2022-04-19T13:14:43Z)
• Film Trailer Generation via Task Decomposition [65.16768855902268]
  私たちは映画をグラフとしてモデル化し、ノードはショットであり、エッジはそれらの間のセマンティックな関係を表す。 スクリーンプレイから特権的テキスト情報を活用する共同コントラストトレーニングを用いて,これらの関係を学習する。 教師なしのアルゴリズムがグラフを横切り、人間の審査員が競争的な教師付きアプローチによって生成されるトレーラーを生成する。
  論文  参考訳（メタデータ） (2021-11-16T20:50:52Z)
• Video Salient Object Detection via Contrastive Features and Attention Modules [106.33219760012048]
  本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。 コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。 提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:40:32Z)
• ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency [62.38914747727636]
  本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。 既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。 本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
  論文  参考訳（メタデータ） (2021-06-04T08:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。