論文の概要: Shimon the Robot Film Composer and DeepScore: An LSTM for Generation of
Film Scores based on Visual Analysis
- arxiv url: http://arxiv.org/abs/2011.07953v1
- Date: Mon, 26 Oct 2020 19:41:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 20:26:45.173243
- Title: Shimon the Robot Film Composer and DeepScore: An LSTM for Generation of
Film Scores based on Visual Analysis
- Title(参考訳): ロボット映画作曲家「shimon」と「deepscore」 : 視覚分析に基づく映画スコア生成のためのlstm
- Authors: Richard Savery, Gil Weinberg
- Abstract要約: 本稿では,映画音楽生成のコア技術として,既存の視覚分析システムを提案する。
我々は、主人公とその感情を含む映画の特徴を抽出し、映画の物語の弧をコンピュータで理解する。
このアークは、ペーシングや動きのレベルを含む視覚的に分析されたディレクターの美的選択と組み合わせられる。
- 参考スコア(独自算出の注目度): 2.055949720959582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Composing for a film requires developing an understanding of the film, its
characters and the film aesthetic choices made by the director. We propose
using existing visual analysis systems as a core technology for film music
generation. We extract film features including main characters and their
emotions to develop a computer understanding of the film's narrative arc. This
arc is combined with visually analyzed director aesthetic choices including
pacing and levels of movement. Two systems are presented, the first using a
robotic film composer and marimbist to generate film scores in real-time
performance. The second software-based system builds on the results from the
robot film composer to create narrative driven film scores.
- Abstract(参考訳): 映画の作曲には、映画やそのキャラクター、監督による映画の美的選択について理解を深める必要がある。
本稿では,映画音楽生成のコア技術として,既存の視覚分析システムを提案する。
我々は、主人公とその感情を含む映画の特徴を抽出し、映画の物語の弧をコンピュータで理解する。
このアークは、ペーシングや動きのレベルを含む視覚的に分析されたディレクターの美的選択と組み合わせられる。
ロボット映画作曲家とマリンビストを使ってリアルタイムで映画スコアを生成する2つのシステムを紹介した。
第2のソフトウェアベースのシステムは、ロボット映画作曲家の成果に基づいて、物語駆動映画スコアを作成する。
関連論文リスト
- MovieFactory: Automatic Movie Creation from Text using Large Generative
Models for Language and Images [92.13079696503803]
映画制作のためのフレームワークであるMovieFactory(3072$times$1280)、映画スタイル(マルチシーン)、マルチモーダル(サウンド)映画について紹介する。
本手法は,簡単なテキスト入力を用いて,スムーズなトランジションでキャプティベーション映画を制作することを可能にする。
論文 参考訳(メタデータ) (2023-06-12T17:31:23Z) - MoviePuzzle: Visual Narrative Reasoning through Multimodal Order
Learning [54.73173491543553]
MoviePuzzleは、ビジュアルな物語の推論と全体論的映画理解をターゲットとする、新しい挑戦である。
本研究では,映像モデルの時間的特徴学習と構造学習を増幅するMoviePuzzleタスクを提案する。
提案手法はMoviePuzzleベンチマークの既存の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2023-06-04T03:51:54Z) - Movie101: A New Movie Understanding Benchmark [47.24519006577205]
大規模な中国の映画ベンチマーク「Movie101」を構築した。
映画ナレーション評価のためのMNScore(Movie Narration Score)と呼ばれる新しい指標を提案する。
両タスクにおいて,提案手法は外部知識をうまく活用し,慎重に設計したベースラインよりも優れた性能を発揮する。
論文 参考訳(メタデータ) (2023-05-20T08:43:51Z) - The Anatomy of Video Editing: A Dataset and Benchmark Suite for
AI-Assisted Video Editing [90.59584961661345]
この研究は、AIによるビデオ編集の研究を促進するために、データセットとベンチマークであるビデオ編集の解剖学を導入している。
本ベンチマークスイートでは,映像の自動撮影やビデオ組み立て支援など,視覚効果以外の映像編集作業に重点を置いている。
これらの前線の研究を可能にするために、196176年の映画シーンから採取した150万枚以上のタグと、撮影技術に関する概念を注釈付けした。
論文 参考訳(メタデータ) (2022-07-20T10:53:48Z) - Film Trailer Generation via Task Decomposition [65.16768855902268]
私たちは映画をグラフとしてモデル化し、ノードはショットであり、エッジはそれらの間のセマンティックな関係を表す。
スクリーンプレイから特権的テキスト情報を活用する共同コントラストトレーニングを用いて,これらの関係を学習する。
教師なしのアルゴリズムがグラフを横切り、人間の審査員が競争的な教師付きアプローチによって生成されるトレーラーを生成する。
論文 参考訳(メタデータ) (2021-11-16T20:50:52Z) - Multilevel profiling of situation and dialogue-based deep networks for
movie genre classification using movie trailers [7.904790547594697]
我々は、状況、対話、メタデータに基づく映画ジャンル分類フレームワークという、新しいマルチモダリティを提案する。
我々は,5つのジャンルに属する2000本のハリウッド映画トレーラーを含むイギリス映画トレーラーデータセット(EMTD)を開発した。
論文 参考訳(メタデータ) (2021-09-14T07:33:56Z) - Where to look at the movies : Analyzing visual attention to understand
movie editing [75.16856363008128]
映画シーケンスの視線パターン情報を含む新しい視線追跡データベースを提案する。
このデータセット上で、最先端の計算サリエンシー技術がどのように振る舞うかを示す。
論文 参考訳(メタデータ) (2021-02-26T09:54:58Z) - Condensed Movies: Story Based Retrieval with Contextual Embeddings [83.73479493450009]
我々は3K映画の主要シーンからなるコンデンサド映画データセット(CMD)を作成する。
データセットはスケーラブルで、YouTubeから自動的に取得され、誰でもダウンロードして利用できる。
我々は、文字、音声、視覚的手がかりを1つのビデオ埋め込みに組み合わせ、データセット上でテキストからビデオまでを検索するためのディープネットワークベースラインを提供する。
論文 参考訳(メタデータ) (2020-05-08T17:55:03Z) - AutoFoley: Artificial Synthesis of Synchronized Sound Tracks for Silent
Videos with Deep Learning [5.33024001730262]
ビデオの代表的なオーディオトラックを合成するのに使用できる、完全に自動化されたディープラーニングツールであるAutoFoleyを紹介する。
AutoFoleyは、ビデオに関連付けられた対応するオーディオファイルがないアプリケーションや、重要なシナリオを特定する必要がある場合でも使用できる。
実験により, 合成した音は, 関連した視覚入力の正確な時間同期でリアルに表現されていることがわかった。
論文 参考訳(メタデータ) (2020-02-21T09:08:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。