論文の概要: Shimon the Robot Film Composer and DeepScore: An LSTM for Generation of Film Scores based on Visual Analysis

• arxiv url: http://arxiv.org/abs/2011.07953v1
• Date: Mon, 26 Oct 2020 19:41:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 20:26:45.173243
• Title: Shimon the Robot Film Composer and DeepScore: An LSTM for Generation of Film Scores based on Visual Analysis
• Title（参考訳）: ロボット映画作曲家「shimon」と「deepscore」 : 視覚分析に基づく映画スコア生成のためのlstm
• Authors: Richard Savery, Gil Weinberg
• Abstract要約: 本稿では,映画音楽生成のコア技術として,既存の視覚分析システムを提案する。 我々は、主人公とその感情を含む映画の特徴を抽出し、映画の物語の弧をコンピュータで理解する。 このアークは、ペーシングや動きのレベルを含む視覚的に分析されたディレクターの美的選択と組み合わせられる。
• 参考スコア（独自算出の注目度）: 2.055949720959582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Composing for a film requires developing an understanding of the film, its characters and the film aesthetic choices made by the director. We propose using existing visual analysis systems as a core technology for film music generation. We extract film features including main characters and their emotions to develop a computer understanding of the film's narrative arc. This arc is combined with visually analyzed director aesthetic choices including pacing and levels of movement. Two systems are presented, the first using a robotic film composer and marimbist to generate film scores in real-time performance. The second software-based system builds on the results from the robot film composer to create narrative driven film scores.
• Abstract（参考訳）: 映画の作曲には、映画やそのキャラクター、監督による映画の美的選択について理解を深める必要がある。 本稿では,映画音楽生成のコア技術として,既存の視覚分析システムを提案する。 我々は、主人公とその感情を含む映画の特徴を抽出し、映画の物語の弧をコンピュータで理解する。 このアークは、ペーシングや動きのレベルを含む視覚的に分析されたディレクターの美的選択と組み合わせられる。 ロボット映画作曲家とマリンビストを使ってリアルタイムで映画スコアを生成する2つのシステムを紹介した。 第2のソフトウェアベースのシステムは、ロボット映画作曲家の成果に基づいて、物語駆動映画スコアを作成する。

関連論文リスト

• FilmAgent: A Multi-Agent Framework for End-to-End Film Automation in Virtual 3D Spaces [42.3549764892671]
  FilmAgentは、エンドツーエンドのフィルム自動化のための新しいマルチエージェント協調フレームワークである。 FilmAgentは、映画監督、脚本家、俳優、撮影監督など、様々なクルーの役割をシミュレートしている。 エージェントのチームは反復的なフィードバックと修正を通じて協力し、中間スクリプトの検証と幻覚の低減を行う。
  論文  参考訳（メタデータ） (2025-01-22T14:36:30Z)
• Creativity and Visual Communication from Machine to Musician: Sharing a Score through a Robotic Camera [4.9485163144728235]
  本稿では,「誘導ハーモニー」音楽ゲーム内にロボットカメラを実装することで,視覚コミュニケーションと音楽インタラクションの統合について検討する。 ロボットシステムは、ミュージシャンの非言語的手がかりを解釈し、応答し、協調的で適応的な音楽体験を作り出す。
  論文  参考訳（メタデータ） (2024-09-09T16:34:36Z)
• DreamCinema: Cinematic Transfer with Free Camera and 3D Character [11.979669977372707]
  本稿では,生成AIを映画製作パラダイムに進化させる新しい映画転送フレームワークであるDreamCinemaを提案する。 具体的には、まず、撮影要素(例えば、人間とカメラのポーズ)を抽出し、カメラの軌道を最適化する。 次に,人体構造を持つ3次元高品質キャラクタを効率よく作成するキャラクタ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-08-22T17:59:44Z)
• AutoDirector: Online Auto-scheduling Agents for Multi-sensory Composition [149.89952404881174]
  AutoDirectorはインタラクティブな多感覚合成フレームワークで、ロングショット、特殊効果、音楽スコア、ダビング、リップシンクをサポートする。 自動スケジューリングにより多感フィルム製造の効率を向上し、ユーザニーズを満たすインタラクティブなタスクの修正と改善を支援する。
  論文  参考訳（メタデータ） (2024-08-21T12:18:22Z)
• Movie101v2: Improved Movie Narration Benchmark [53.54176725112229]
  映像の自動ナレーションは、視覚障害者を支援するために、映像に合わせたプロット記述を生成することを目的としている。 映画ナレーションに特化して設計されたデータ品質を向上した大規模バイリンガルデータセットであるMovie101v2を紹介する。 新しいベンチマークに基づいて,GPT-4Vを含む多数の視覚言語モデルをベースライン化し,ナレーション生成における課題の詳細な分析を行う。
  論文  参考訳（メタデータ） (2024-04-20T13:15:27Z)
• MovieFactory: Automatic Movie Creation from Text using Large Generative Models for Language and Images [92.13079696503803]
  映画制作のためのフレームワークであるMovieFactory(3072$times$1280)、映画スタイル(マルチシーン)、マルチモーダル(サウンド)映画について紹介する。 本手法は,簡単なテキスト入力を用いて,スムーズなトランジションでキャプティベーション映画を制作することを可能にする。
  論文  参考訳（メタデータ） (2023-06-12T17:31:23Z)
• MoviePuzzle: Visual Narrative Reasoning through Multimodal Order Learning [54.73173491543553]
  MoviePuzzleは、ビジュアルな物語の推論と全体論的映画理解をターゲットとする、新しい挑戦である。 本研究では,映像モデルの時間的特徴学習と構造学習を増幅するMoviePuzzleタスクを提案する。 提案手法はMoviePuzzleベンチマークの既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-06-04T03:51:54Z)
• Finding the Right Moment: Human-Assisted Trailer Creation via Task Composition [63.842627949509414]
  我々は、トレーラーに含まれる可能性がある映画、すなわちショットのトレーラーの瞬間を見つけることに重点を置いている。 私たちは映画をグラフとしてモデル化し、ノードはショットであり、エッジはそれらの間のセマンティックな関係を表す。 教師なしのアルゴリズムがグラフを横切り、人間の審査員が競争監督のアプローチで選択した映画からトレーラーの瞬間を選択する。 このツールを使うと、30分以内のトレーラーショットを選択でき、完全に自動的な方法よりも優れており、専門家による(排他的な)手動選択に匹敵する。
  論文  参考訳（メタデータ） (2021-11-16T20:50:52Z)
• Condensed Movies: Story Based Retrieval with Contextual Embeddings [83.73479493450009]
  我々は3K映画の主要シーンからなるコンデンサド映画データセット(CMD)を作成する。 データセットはスケーラブルで、YouTubeから自動的に取得され、誰でもダウンロードして利用できる。 我々は、文字、音声、視覚的手がかりを1つのビデオ埋め込みに組み合わせ、データセット上でテキストからビデオまでを検索するためのディープネットワークベースラインを提供する。
  論文  参考訳（メタデータ） (2020-05-08T17:55:03Z)
• AutoFoley: Artificial Synthesis of Synchronized Sound Tracks for Silent Videos with Deep Learning [5.33024001730262]
  ビデオの代表的なオーディオトラックを合成するのに使用できる、完全に自動化されたディープラーニングツールであるAutoFoleyを紹介する。 AutoFoleyは、ビデオに関連付けられた対応するオーディオファイルがないアプリケーションや、重要なシナリオを特定する必要がある場合でも使用できる。 実験により, 合成した音は, 関連した視覚入力の正確な時間同期でリアルに表現されていることがわかった。
  論文  参考訳（メタデータ） (2020-02-21T09:08:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。