論文の概要: Dynamic NeRFs for Soccer Scenes

• arxiv url: http://arxiv.org/abs/2309.06802v1
• Date: Wed, 13 Sep 2023 08:50:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 14:50:09.102525
• Title: Dynamic NeRFs for Soccer Scenes
• Title（参考訳）: サッカーシーンのための動的NeRF
• Authors: Sacha Lewin, Maxime Vandegar, Thomas Hoyoux, Olivier Barnich, Gilles Louppe
• Abstract要約: サッカーのアクションを合成するフォトリアリスティックな新しい視点は、放送業界にとって大きな関心事である。 ニューラルフィールドの近年の出現は、多くの新しいビュー合成応用において驚くべき進歩をもたらした。 合成サッカー環境を構築し,それを用いた実験を行い,動的NeRFを用いてサッカーシーンの再構築を支援する重要な要素を特定した。
• 参考スコア（独自算出の注目度）: 5.390044264881099
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The long-standing problem of novel view synthesis has many applications, notably in sports broadcasting. Photorealistic novel view synthesis of soccer actions, in particular, is of enormous interest to the broadcast industry. Yet only a few industrial solutions have been proposed, and even fewer that achieve near-broadcast quality of the synthetic replays. Except for their setup of multiple static cameras around the playfield, the best proprietary systems disclose close to no information about their inner workings. Leveraging multiple static cameras for such a task indeed presents a challenge rarely tackled in the literature, for a lack of public datasets: the reconstruction of a large-scale, mostly static environment, with small, fast-moving elements. Recently, the emergence of neural radiance fields has induced stunning progress in many novel view synthesis applications, leveraging deep learning principles to produce photorealistic results in the most challenging settings. In this work, we investigate the feasibility of basing a solution to the task on dynamic NeRFs, i.e., neural models purposed to reconstruct general dynamic content. We compose synthetic soccer environments and conduct multiple experiments using them, identifying key components that help reconstruct soccer scenes with dynamic NeRFs. We show that, although this approach cannot fully meet the quality requirements for the target application, it suggests promising avenues toward a cost-efficient, automatic solution. We also make our work dataset and code publicly available, with the goal to encourage further efforts from the research community on the task of novel view synthesis for dynamic soccer scenes. For code, data, and video results, please see https://soccernerfs.isach.be.
• Abstract（参考訳）: 新しい視点合成の長年の問題は、特にスポーツ放送において多くの応用がある。 サッカーのアクションの光リアリスティックな視点の合成は、特に放送業界にとって大きな関心を集めている。 しかし、いくつかの産業的な解決策が提案されており、合成リプレイのほぼブロードウェイ品質を達成するものは少ない。 プレイフィールド周辺に複数の静止カメラを設置する以外、最高のプロプライエタリなシステムは内部動作に関する情報をほとんど公開しない。 このようなタスクに複数の静的カメラを活用することは、パブリックデータセットの欠如によって、文献にはほとんど取り組まれていない課題を実際に示している。 近年、ニューラルラジアンスの出現は、多くの新しいビュー合成アプリケーションにおいて驚くべき進歩を招き、深層学習の原理を利用して、最も困難な環境でフォトリアリスティックな結果を生み出す。 本研究では,汎用動的コンテンツの再構築を目的としたニューラルモデルであるdynamic nerfsの課題に対する解法の実現可能性について検討する。 合成サッカー環境を構築し,それらを用いて複数の実験を行い,サッカーシーンをダイナミックなnerfで再構築する上で重要な要素を特定した。 このアプローチは、ターゲットアプリケーションの品質要件を完全に満たすことはできないが、コスト効率、自動ソリューションへの有望な道が提案されている。 また、動的サッカーシーンのための新しいビュー合成の課題について、研究コミュニティのさらなる取り組みを促進することを目的として、作業データセットとコードを公開する。 コード、データ、ビデオの結果については、https://soccernerfs.isach.beをご覧ください。

関連論文リスト

• SoccerSynth-Detection: A Synthetic Dataset for Soccer Player Detection [0.7332146059733189]
  Soccer Synth-Detectionは、合成サッカー選手を検出するために設計された最初の合成データセットである。 広い範囲のランダムな照明やテクスチャ、シミュレートされたカメラモーションのぼかしなどが含まれる。 本研究は,サッカービデオ解析の分野でのアルゴリズム学習において,実際のデータセットを置き換える合成データセットの可能性を示すものである。
  論文  参考訳（メタデータ） (2025-01-16T04:06:59Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• Knowledge NeRF: Few-shot Novel View Synthesis for Dynamic Articulated Objects [8.981452149411714]
  本稿では,動的シーンのための新しいビューを合成するための知識NeRFを提案する。 我々は、音声オブジェクトに対してNeRFモデルを事前訓練し、音声オブジェクトが移動すると、新しい状態における新しいビューを生成することを学習する。
  論文  参考訳（メタデータ） (2024-03-31T12:45:23Z)
• Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
  本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。 COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
  論文  参考訳（メタデータ） (2024-03-07T00:00:02Z)
• CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from Monocular Video [25.551944406980297]
  複雑でダイナミックなシーンのモノクロ映像から高品質な新しいビューを生成するための新しいアプローチを提案する。 物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。 実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
  論文  参考訳（メタデータ） (2024-01-10T00:40:05Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Sports Video Analysis on Large-Scale Data [10.24207108909385]
  本稿では,スポーツビデオにおける自動機械記述のモデル化について検討する。 スポーツビデオ分析のためのNBAデータセット(NSVA)を提案する。
  論文  参考訳（メタデータ） (2022-08-09T16:59:24Z)
• Dynamic View Synthesis from Dynamic Monocular Video [69.80425724448344]
  動的シーンの単眼映像を与えられた任意の視点と任意の入力時間ステップでビューを生成するアルゴリズムを提案する。 カジュアルな映像からの動的ビュー合成の定量的および定性的な結果を示す。
  論文  参考訳（メタデータ） (2021-05-13T17:59:50Z)
• SoccerNet-v2: A Dataset and Benchmarks for Holistic Understanding of Broadcast Soccer Videos [71.72665910128975]
  SoccerNet-v2 は SoccerNet ビデオデータセット用の手動アノテーションの大規模なコーパスである。 SoccerNetの500の未トリミングサッカービデオの中で、約300万のアノテーションをリリースしています。 サッカーの領域における現在のタスクを拡張し、アクションスポッティング、カメラショットセグメンテーション、境界検出を含む。
  論文  参考訳（メタデータ） (2020-11-26T16:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。