論文の概要: Multi-view reconstruction of bullet time effect based on improved NSFF model

• arxiv url: http://arxiv.org/abs/2304.00330v1
• Date: Sat, 1 Apr 2023 14:58:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 18:45:45.795539
• Title: Multi-view reconstruction of bullet time effect based on improved NSFF model
• Title（参考訳）: 改良NSFFモデルに基づく弾頭時間効果の多視点再構成
• Authors: Linquan Yu and Yan Gao and Yangtian Yan and Wentao Zeng
• Abstract要約: ブレットタイム(英: Bullet Time)は、映画、テレビ、ゲームで一般的に使用される視覚効果の一種である。 本稿では,映画やテレビの特殊効果シーンを新たな視点から再構築した。
• 参考スコア（独自算出の注目度）: 2.5698815501864924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bullet time is a type of visual effect commonly used in film, television and games that makes time seem to slow down or stop while still preserving dynamic details in the scene. It usually requires multiple sets of cameras to move slowly with the subject and is synthesized using post-production techniques, which is costly and one-time. The dynamic scene perspective reconstruction technology based on neural rendering field can be used to solve this requirement, but most of the current methods are poor in reconstruction accuracy due to the blurred input image and overfitting of dynamic and static regions. Based on the NSFF algorithm, this paper reconstructed the common time special effects scenes in movies and television from a new perspective. To improve the accuracy of the reconstructed images, fuzzy kernel was added to the network for reconstruction and analysis of the fuzzy process, and the clear perspective after analysis was input into the NSFF to improve the accuracy. By using the optical flow prediction information to suppress the dynamic network timely, the network is forced to improve the reconstruction effect of dynamic and static networks independently, and the ability to understand and reconstruct dynamic and static scenes is improved. To solve the overfitting problem of dynamic and static scenes, a new dynamic and static cross entropy loss is designed. Experimental results show that compared with original NSFF and other new perspective reconstruction algorithms of dynamic scenes, the improved NSFF-RFCT improves the reconstruction accuracy and enhances the understanding ability of dynamic and static scenes.
• Abstract（参考訳）: 弾丸タイム(英語: bullet time)は、映画、テレビ、ゲームで一般的に用いられる視覚効果の一種で、シーンのダイナミックなディテールを維持しながら、時間の経過が遅くなり、停止するように見える。 通常、被写体と共にゆっくり動くために複数のカメラセットが必要であり、コストとワンタイムのポストプロダクション技術を用いて合成される。 ニューラルレンダリングフィールドに基づく動的シーンパースペクティブ再構築技術はこの要件を解決するために利用できるが、現在の手法のほとんどは、ぼやけた入力画像と動的領域と静的領域の過度な適合により、再構成精度が劣っている。 NSFFアルゴリズムを用いて,映画やテレビの特殊効果シーンを新たな視点から再構成した。 再構成画像の精度を向上させるため,ファジィ過程の再構成と解析のためにファジィカーネルをネットワークに追加し,解析後の明確な視点をnsffに入力して精度を向上させる。 光フロー予測情報を用いて動的ネットワークをタイムリーに抑制することにより、動的ネットワークと静的ネットワークのリコンストラクション効果を独立して改善せざるを得なくなり、動的・静的シーンを理解・再構築する能力が向上する。 動的および静的なシーンのオーバーフィッティング問題を解決するために、新しい動的および静的なクロスエントロピー損失を設計する。 実験結果から,従来のNSFFおよび他の動的シーンの視点再構成アルゴリズムと比較して,改良されたNSFF-RFCTは再構成精度を改善し,動的シーンと静的シーンの理解能力を向上することが示された。

関連論文リスト

• Adaptive and Temporally Consistent Gaussian Surfels for Multi-view Dynamic Reconstruction [3.9363268745580426]
  AT-GSは、フレーム単位のインクリメンタル最適化により、多視点ビデオから高品質な動的曲面を再構成する新しい手法である。 連続するフレーム間の曲率写像の整合性を確保することにより、動的表面における時間的ジッタリングを低減する。 本手法は動的表面再構成の精度と時間的コヒーレンスを向上し,高忠実度空間時間新奇なビュー合成を実現する。
  論文  参考訳（メタデータ） (2024-11-10T21:30:16Z)
• Learn to Memorize and to Forget: A Continual Learning Perspective of Dynamic SLAM [17.661231232206028]
  暗黙的な神経表現を伴う同時局所化とマッピング(SLAM)が注目されている。 動的環境のための新しいSLAMフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-18T09:35:48Z)
• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• HFGS: 4D Gaussian Splatting with Emphasis on Spatial and Temporal High-Frequency Components for Endoscopic Scene Reconstruction [13.012536387221669]
  ロボット支援による最小侵襲手術は、手術結果を改善するため、動的シーン再構築の強化による恩恵を受ける。 NeRFはシーン再構成に有効だが、推論速度の遅さとトレーニング期間の長いため適用性が制限されている。 3D Gaussian Splatting (3D-GS) ベースの手法が最近のトレンドとして現れ、高速な推論機能と優れた3D品質を提供する。 本稿では,空間的および時間的周波数の観点からこれらの課題に対処する,変形可能な内視鏡再構成のための新しいアプローチであるHFGSを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:48:02Z)
• DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
  動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。 DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。 我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
  論文  参考訳（メタデータ） (2023-09-16T08:46:59Z)
• SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
  我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
  論文  参考訳（メタデータ） (2023-08-16T09:50:35Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
  ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。 本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。 本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-05-24T07:36:47Z)
• Temporally Consistent Online Depth Estimation in Dynamic Scenes [17.186528244457055]
  拡張現実のようなリアルタイムアプリケーションには、時間的に一貫した深さ推定が不可欠である。 オンライン環境における動的シーンにおける時間的一貫した深度推定を行う手法を提案する。 我々のネットワークは、フレームごとの現在のステレオネットワークを新しい動きと融合ネットワークで拡張する。
  論文  参考訳（メタデータ） (2021-11-17T19:00:51Z)
• Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
  強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。 このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。 我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2020-07-21T11:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。