論文の概要: Smart Director: An Event-Driven Directing System for Live Broadcasting
- arxiv url: http://arxiv.org/abs/2201.04024v1
- Date: Tue, 11 Jan 2022 16:14:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-12 14:40:23.726269
- Title: Smart Director: An Event-Driven Directing System for Live Broadcasting
- Title（参考訳）: Smart Director:ライブ放送のためのイベント駆動ディレクティブシステム
- Authors: Yingwei Pan and Yue Chen and Qian Bao and Ning Zhang and Ting Yao and
Jingen Liu and Tao Mei
- Abstract要約: Smart Directorは、典型的な人間向けブロードキャストプロセスを模倣して、ほぼ専門的なブロードキャストプログラムをリアルタイムで自動的に作成することを目指している。
本システムは,マルチカメラスポーツ放送における初のエンドツーエンド自動指向システムである。
- 参考スコア（独自算出の注目度）: 110.30675947733167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Live video broadcasting normally requires a multitude of skills and expertise
with domain knowledge to enable multi-camera productions. As the number of
cameras keep increasing, directing a live sports broadcast has now become more
complicated and challenging than ever before. The broadcast directors need to
be much more concentrated, responsive, and knowledgeable, during the
production. To relieve the directors from their intensive efforts, we develop
an innovative automated sports broadcast directing system, called Smart
Director, which aims at mimicking the typical human-in-the-loop broadcasting
process to automatically create near-professional broadcasting programs in
real-time by using a set of advanced multi-view video analysis algorithms.
Inspired by the so-called "three-event" construction of sports broadcast, we
build our system with an event-driven pipeline consisting of three consecutive
novel components: 1) the Multi-view Event Localization to detect events by
modeling multi-view correlations, 2) the Multi-view Highlight Detection to rank
camera views by the visual importance for view selection, 3) the
Auto-Broadcasting Scheduler to control the production of broadcasting videos.
To our best knowledge, our system is the first end-to-end automated directing
system for multi-camera sports broadcasting, completely driven by the semantic
understanding of sports events. It is also the first system to solve the novel
problem of multi-view joint event detection by cross-view relation modeling. We
conduct both objective and subjective evaluations on a real-world multi-camera
soccer dataset, which demonstrate the quality of our auto-generated videos is
comparable to that of the human-directed. Thanks to its faster response, our
system is able to capture more fast-passing and short-duration events which are
usually missed by human directors.
- Abstract（参考訳）: ライブビデオ放送は通常、マルチカメラ生産を可能にするために、様々な技術と専門知識を必要とする。
カメラの数が増えるにつれて、ライブスポーツ放送の監督は、これまで以上に複雑で難しいものになっている。
放送監督は、製作中にもっと集中し、反応し、知識を持てなければならない。
そこで我々は,従来の人間間放送を模倣して,先進的な多視点ビデオ解析アルゴリズムを用いて,ほぼ専門的な放送番組をリアルタイムで自動作成することを目的とした,Smart Directorという,革新的な自動スポーツ放送ディレクティブシステムを開発した。
スポーツ放送のいわゆる「3つのイベント」構成に着想を得て、3つの連続した新規コンポーネントからなるイベント駆動パイプラインでシステムを構築する。
1)マルチビュー相関をモデル化してイベントを検出するマルチビューイベントローカライゼーション
2)視点選択の視覚的重要度によるカメラビューのランク付けのためのマルチビューハイライト検出
3)放送映像の制作を制御する自動放送スケジューリング装置。
我々の知る限り,本システムはスポーツイベントのセマンティック理解によって完全に駆動される,マルチカメラスポーツ放送のための初のエンドツーエンド自動ディレクティブシステムである。
また、クロスビュー関係モデリングによる多視点共同イベント検出の新たな問題を解決した最初のシステムでもある。
我々は,実世界のマルチカメラサッカーデータセット上で客観的および主観的評価を行い,自動生成ビデオの品質が人間に匹敵することを示す。
より高速な応答によって、私たちのシステムはより高速で短時間のイベントをキャプチャすることができます。
関連論文リスト
- A multi-purpose automatic editing system based on lecture semantics for remote education [6.6826236187037305]
本稿では,講義セマンティクスに基づく自動マルチカメラ指向/編集システムを提案する。
本システムは,専門的な指示規則に従いながら,クラスイベントを意味論的に分析することによって,ビューを指示する。
論文 参考訳（メタデータ） (2024-11-07T16:49:25Z) - ChatCam: Empowering Camera Control through Conversational AI [67.31920821192323]
ChatCamは、ユーザーとの会話を通じてカメラの動きをナビゲートするシステムである。
そこで本研究では,テキスト条件付きカメラ軌道生成のためのGPTに基づく自己回帰モデルであるCineGPTを提案する。
また、正確なカメラ軌道配置を保証するアンカー決定器も開発した。
論文 参考訳（メタデータ） (2024-09-25T20:13:41Z) - AutoDirector: Online Auto-scheduling Agents for Multi-sensory Composition [149.89952404881174]
AutoDirectorはインタラクティブな多感覚合成フレームワークで、ロングショット、特殊効果、音楽スコア、ダビング、リップシンクをサポートする。
自動スケジューリングにより多感フィルム製造の効率を向上し、ユーザニーズを満たすインタラクティブなタスクの修正と改善を支援する。
論文 参考訳（メタデータ） (2024-08-21T12:18:22Z) - Investigating Event-Based Cameras for Video Frame Interpolation in Sports [59.755469098797406]
本稿では,スポーツスローモーションビデオを生成するためのイベントベースビデオフレーム補間(VFI)モデルについて検討する。
特に,スポーツ映像を撮影するためのRGBとイベントベースカメラを含むバイカメラ記録装置の設計と実装を行い,両カメラの時間的整列と空間的登録を行う。
実験により,市販のイベントベースVFIモデルであるTimeLensが,スポーツビデオのスローモーション映像を効果的に生成できることが実証された。
論文 参考訳（メタデータ） (2024-07-02T15:39:08Z) - Automatic Camera Control and Directing with an Ultra-High-Definition
Collaborative Recording System [0.5735035463793007]
複数のカメラアングルからイベントをキャプチャすることで、視聴者はそのイベントの最も完全で興味深い写真を得ることができる。
全方位カメラや広角カメラの導入により、イベントをより完全に捉えられるようになった。
イベントの複数の超高解像度ビデオストリームが与えられると、視覚的に喜ぶ一連のショットを生成することができるシステムを示す。
論文 参考訳（メタデータ） (2022-08-10T08:28:08Z) - Scalable and Real-time Multi-Camera Vehicle Detection,
Re-Identification, and Tracking [58.95210121654722]
理想化されたビデオストリームやキュレートされたビデオストリームの代わりに,リアルタイムで低解像度のCCTVを処理する,リアルタイムな都市規模のマルチカメラ車両追跡システムを提案する。
私たちの手法は、公共のリーダーボードで上位5人のパフォーマーにランク付けされています。
論文 参考訳（メタデータ） (2022-04-15T12:47:01Z) - Feature Combination Meets Attention: Baidu Soccer Embeddings and
Transformer based Temporal Detection [3.7709686875144337]
本稿では,サッカー中継ビデオにおけるイベントの発生状況と発生状況を検出するための2段階のパラダイムを提案する。
具体的には,サッカーデータ上に複数のアクション認識モデルを微調整し,ハイレベルなセマンティックな特徴を抽出する。
このアプローチは、サッカーネットv2チャレンジにおける2つのタスク、すなわちアクションスポッティングとリプレイグラウンドにおいて、最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2021-06-28T08:00:21Z) - SoccerNet-v2: A Dataset and Benchmarks for Holistic Understanding of
Broadcast Soccer Videos [71.72665910128975]
SoccerNet-v2 は SoccerNet ビデオデータセット用の手動アノテーションの大規模なコーパスである。
SoccerNetの500の未トリミングサッカービデオの中で、約300万のアノテーションをリリースしています。
サッカーの領域における現在のタスクを拡張し、アクションスポッティング、カメラショットセグメンテーション、境界検出を含む。
論文 参考訳（メタデータ） (2020-11-26T16:10:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。