論文の概要: Investigating Event-Based Cameras for Video Frame Interpolation in Sports

• arxiv url: http://arxiv.org/abs/2407.02370v2
• Date: Wed, 3 Jul 2024 08:32:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 12:45:59.113133
• Title: Investigating Event-Based Cameras for Video Frame Interpolation in Sports
• Title（参考訳）: スポーツにおけるビデオフレーム補間のためのイベントベースカメラの検討
• Authors: Antoine Deckyvere, Anthony Cioppa, Silvio Giancola, Bernard Ghanem, Marc Van Droogenbroeck,
• Abstract要約: 本稿では,スポーツスローモーションビデオを生成するためのイベントベースビデオフレーム補間(VFI)モデルについて検討する。 特に,スポーツ映像を撮影するためのRGBとイベントベースカメラを含むバイカメラ記録装置の設計と実装を行い,両カメラの時間的整列と空間的登録を行う。 実験により,市販のイベントベースVFIモデルであるTimeLensが,スポーツビデオのスローモーション映像を効果的に生成できることが実証された。
• 参考スコア（独自算出の注目度）: 59.755469098797406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Slow-motion replays provide a thrilling perspective on pivotal moments within sports games, offering a fresh and captivating visual experience. However, capturing slow-motion footage typically demands high-tech, expensive cameras and infrastructures. Deep learning Video Frame Interpolation (VFI) techniques have emerged as a promising avenue, capable of generating high-speed footage from regular camera feeds. Moreover, the utilization of event-based cameras has recently gathered attention as they provide valuable motion information between frames, further enhancing the VFI performances. In this work, we present a first investigation of event-based VFI models for generating sports slow-motion videos. Particularly, we design and implement a bi-camera recording setup, including an RGB and an event-based camera to capture sports videos, to temporally align and spatially register both cameras. Our experimental validation demonstrates that TimeLens, an off-the-shelf event-based VFI model, can effectively generate slow-motion footage for sports videos. This first investigation underscores the practical utility of event-based cameras in producing sports slow-motion content and lays the groundwork for future research endeavors in this domain.
• Abstract（参考訳）: スローモーションのリプレイは、スポーツゲームにおける重要な瞬間について、スリルのある視点を提供し、新鮮な視覚体験を提供する。 しかし、スローモーション映像の撮影は通常、ハイテクで高価なカメラとインフラを必要とする。 ディープラーニングビデオフレーム補間(VFI)技術は、通常のカメラフィードから高速な映像を生成することができる有望な道として登場した。 さらに、イベントベースのカメラの利用は、フレーム間の貴重な動き情報を提供し、VFI性能をさらに向上させるため、近年注目されている。 本研究では,スポーツスローモーションビデオを生成するイベントベースVFIモデルについて,初めて検討する。 特に,スポーツ映像を撮影するためのRGBとイベントベースカメラを含むバイカメラ記録装置の設計と実装を行い,両カメラの時間的整列と空間的登録を行う。 実験により,市販のイベントベースVFIモデルであるTimeLensが,スポーツビデオのスローモーション映像を効果的に生成できることが実証された。 この最初の調査は、スポーツのスローモーションコンテンツを制作するイベントベースのカメラの実用性を強調し、この領域における将来の研究の基盤となる。

関連論文リスト

• Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention [62.2447324481159]
  Caviaはカメラ制御可能なマルチビュービデオ生成のための新しいフレームワークである。 我々のフレームワークは、空間的および時間的注意モジュールを拡張し、視点と時間的一貫性を改善します。 Caviaは、ユーザーが物体の動きを取得しながら、異なるカメラの動きを特定できる最初の製品だ。
  論文  参考訳（メタデータ） (2024-10-14T17:46:32Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• TimeRewind: Rewinding Time with Image-and-Events Video Diffusion [10.687722181495065]
  本稿では,シャッターボタンが押される直前に欠落したフリーティングモーメントを回復するために,単一のキャプチャ画像からタイムを巻き戻すという,新たな課題について述べる。 我々は、時間分解能の高いモーション情報をキャプチャするニューロモルフィックイベントカメラの新興技術を活用することで、この課題を克服する。 提案フレームワークは,イベントカメラデータに基づくイベントモーションアダプタを導入し,この拡散モデルを用いて,キャプチャしたイベントに視覚的に整合性を持ち,物理的に接地した映像を生成する。
  論文  参考訳（メタデータ） (2024-03-20T17:57:02Z)
• Dynamic Storyboard Generation in an Engine-based Virtual Environment for Video Production [92.14891282042764]
  VDS(Virtual Dynamic Storyboard)を導入し,仮想環境でのストーリーボード撮影を可能にする。 形式化されたストーリースクリプトとカメラスクリプトが入力として与えられたら、いくつかのキャラクターアニメーションとカメラムーブメント提案を生成する。 候補から高品質なダイナミックなストーリーボードをピックアップするために,プロのマニュアル作成データから学習したショット品質基準に基づいて,ショットランキング判別器を装備する。
  論文  参考訳（メタデータ） (2023-01-30T06:37:35Z)
• Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
  ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。 我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。 公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
  論文  参考訳（メタデータ） (2022-10-27T02:45:48Z)
• Stereo Co-capture System for Recording and Tracking Fish with Frame- and Event Cameras [11.87305195196131]
  本稿では,従来のカメラとイベントカメラを用いたマルチアニマル視覚データ取得のためのコキャプチャシステムを提案する。 イベントカメラは、高時間分解能や時間冗長性抑制など、フレームベースのカメラよりも多くの利点がある。 本手法の有効性を実証するイベントベースマルチアニマルトラッキングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-15T08:04:10Z)
• Video frame interpolation for high dynamic range sequences captured with dual-exposure sensors [24.086089662881044]
  ビデオフレーム(VFI)は、時間領域を含む多くの重要なアプリケーションを可能にする。 重要な課題の1つは、複雑な動きの存在下で高いダイナミックレンジシーンを扱うことである。
  論文  参考訳（メタデータ） (2022-06-19T20:29:34Z)
• TimeReplayer: Unlocking the Potential of Event Cameras for Video Interpolation [78.99283105497489]
  イベントカメラは、任意に複雑な動きのあるビデオを可能にする新しいデバイスである。 本稿では,コモディティカメラが捉えた映像とイベントとを補間するTimeReplayerアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-25T18:57:42Z)
• Smart Director: An Event-Driven Directing System for Live Broadcasting [110.30675947733167]
  Smart Directorは、典型的な人間向けブロードキャストプロセスを模倣して、ほぼ専門的なブロードキャストプログラムをリアルタイムで自動的に作成することを目指している。 本システムは,マルチカメラスポーツ放送における初のエンドツーエンド自動指向システムである。
  論文  参考訳（メタデータ） (2022-01-11T16:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。