論文の概要: Dynamic View Synthesis from Small Camera Motion Videos

• arxiv url: http://arxiv.org/abs/2506.23153v1
• Date: Sun, 29 Jun 2025 09:17:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.748859
• Title: Dynamic View Synthesis from Small Camera Motion Videos
• Title（参考訳）: 小型カメラモーションビデオからのダイナミックビュー合成
• Authors: Huiqiang Sun, Xingyi Li, Juewen Peng, Liao Shen, Zhiguo Cao, Ke Xian, Guosheng Lin,
• Abstract要約: 分布に基づく奥行き正規化に基づく動的3ドルDシーンのための新しいビュー合成を提案する。 また、光線に沿った物体境界がほぼゼロとなる前に空間点の体積密度を強制する制約を導入し、我々のモデルがシーンの正確な幾何学を学べるようにした。 我々は,小さなカメラモーション入力によるシーン表現におけるアプローチの有効性を実証するために,広範囲な実験を行い,その結果を最先端の手法と比較した。
• 参考スコア（独自算出の注目度）: 56.359460602781304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Novel view synthesis for dynamic $3$D scenes poses a significant challenge. Many notable efforts use NeRF-based approaches to address this task and yield impressive results. However, these methods rely heavily on sufficient motion parallax in the input images or videos. When the camera motion range becomes limited or even stationary (i.e., small camera motion), existing methods encounter two primary challenges: incorrect representation of scene geometry and inaccurate estimation of camera parameters. These challenges make prior methods struggle to produce satisfactory results or even become invalid. To address the first challenge, we propose a novel Distribution-based Depth Regularization (DDR) that ensures the rendering weight distribution to align with the true distribution. Specifically, unlike previous methods that use depth loss to calculate the error of the expectation, we calculate the expectation of the error by using Gumbel-softmax to differentiably sample points from discrete rendering weight distribution. Additionally, we introduce constraints that enforce the volume density of spatial points before the object boundary along the ray to be near zero, ensuring that our model learns the correct geometry of the scene. To demystify the DDR, we further propose a visualization tool that enables observing the scene geometry representation at the rendering weight level. For the second challenge, we incorporate camera parameter learning during training to enhance the robustness of our model to camera parameters. We conduct extensive experiments to demonstrate the effectiveness of our approach in representing scenes with small camera motion input, and our results compare favorably to state-of-the-art methods.
• Abstract（参考訳）: ダイナミックな3ドル(約3,300円)のシーンのための新しいビュー合成は、大きな課題となる。 多くの注目すべき取り組みは、この課題に対処し、印象的な結果を得るためにNeRFベースのアプローチを使用している。 しかし、これらの手法は入力画像やビデオの運動パララックスに大きく依存している。 カメラの動き範囲が制限されたり、静止状態になったりした場合(すなわち、小さなカメラの動き)、既存の手法では、シーン形状の誤った表現とカメラパラメータの不正確な推定の2つの主要な課題に直面する。 これらの課題は、事前の手法が満足のいく結果を生み出すのに苦労したり、無効になったりする。 最初の課題に対処するため,本研究では,真の分布と整合するレンダリング重み分布を確実にするDDR(Distributed-based Depth Regularization)を提案する。 具体的には、予測誤差を計算するために奥行き損失を用いた従来の手法とは異なり、Gumbel-softmax を用いて離散的な描画重み分布から点を微分して誤差の予測を計算する。 さらに、光線に沿った物体境界がゼロに近い前に空間点の体積密度を強制する制約を導入し、我々のモデルがシーンの正確な幾何学を学べるようにした。 さらに,DDRをデミスティフィケートするために,レンダリングウェイトレベルでシーンの幾何学的表現を観察できる可視化ツールを提案する。 第2の課題として、トレーニング中にカメラパラメータ学習を導入し、カメラパラメータに対するモデルの堅牢性を高める。 我々は,小さなカメラモーション入力によるシーン表現におけるアプローチの有効性を実証するために,広範囲な実験を行い,その結果を最先端の手法と比較した。

関連論文リスト

• iComMa: Inverting 3D Gaussian Splatting for Camera Pose Estimation via Comparing and Matching [14.737266480464156]
  コンピュータビジョンにおける6次元カメラのポーズ推定問題に対処するため,iComMaという手法を提案する。 3次元ガウススプラッティング(3DGS)の反転による高精度カメラポーズ推定法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T15:31:33Z)
• Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter Correction [54.00007868515432]
  既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。 本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。 提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
  論文  参考訳（メタデータ） (2023-03-31T15:09:18Z)
• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)
• Cinematic-L1 Video Stabilization with a Log-Homography Model [0.0]
  撮影者が撮影するカメラの動きを、三脚、人形、ステアディカムなどの装置でシミュレートする手持ちビデオの安定化方法を提案する。 提案手法は,iPhone XS上で300fpsで動作する計算効率が高く,高品質な結果が得られる。
  論文  参考訳（メタデータ） (2020-11-16T18:10:57Z)
• Wide-angle Image Rectification: A Survey [86.36118799330802]
  広角画像は、基礎となるピンホールカメラモデルに反する歪みを含む。 これらの歪みを補正することを目的とした画像修正は、これらの問題を解決することができる。 本稿では、異なるアプローチで使用されるカメラモデルについて、詳細な説明と議論を行う。 次に,従来の幾何学に基づく画像修正手法と深層学習法の両方について検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:28:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。