論文の概要: Learning Video Dynamics with Predictive Differentiable Rendering

• arxiv url: http://arxiv.org/abs/2606.31050v1
• Date: Tue, 30 Jun 2026 02:36:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.044889
• Title: Learning Video Dynamics with Predictive Differentiable Rendering
• Title（参考訳）: 予測微分レンダリングによるビデオダイナミクスの学習
• Abstract要約: 既存の決定論的ビデオ予測モデルは、離散画素空間で動作し、主に画素単位の平均二乗誤差(MSE)に最適化されている。 離散表現と連続表現のギャップを埋める新しいエンドツーエンドビデオ予測パラダイムである予測微分レンダリング(PDR)を提案する。 我々はPDRが既存の手法を一貫して上回り、優れたディテール保存、視覚的忠実度、予測精度を提供することを示した。
• 参考スコア（独自算出の注目度）: 31.289845595113718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How to accurately predict a high-fidelity future world? While the visual world is inherently continuous, existing deterministic video prediction models operate in discrete pixel space and are mainly optimized with pixel-wise mean squared error (MSE), which often leads to over-smoothed predictions and a lack of fine-grained visual details. To address these limitations, we propose Predictive Differentiable Rendering (PDR), a novel end-to-end video prediction paradigm that bridges the gap between discrete and continuous representations. Inspired by recent progress in 3D reconstruction with 3D Gaussian Splatting, we introduce PredGS, a lightweight and plug-and-play adapter based on 2D Gaussian representation, which could be seamlessly integrated with existing pixel space predictors, significantly improving spatial detail preservation with negligible computational overhead. Furthermore, we develop predgsplat, a CUDA-accelerated differentiable 2D Gaussian renderer supporting arbitrary channels. Each Gaussian is defined by 5 + C learnable parameters (position, scale, rotation, and C channel amplitudes) and achieves up to 10x faster rendering than the baseline. Optimized by a combined L1 and SSIM loss, PDR overcomes the inherent blurring tendencies of MSE Loss, significantly enhancing the prediction performance. Extensive experiments on diverse real-world benchmarks, including TaxiBJ, WeatherBench, KTH, and Human3.6M, demonstrate that PDR consistently surpasses existing methods, delivering superior detail preservation, visual fidelity, and predictive accuracy.
• Abstract（参考訳）: 高忠実な未来の世界を正確に予測する方法? 視覚世界は本質的に連続的であるが、既存の決定論的ビデオ予測モデルは離散的なピクセル空間で動作し、主にピクセル単位の平均二乗誤差 (MSE) に最適化されている。 これらの制約に対処するために、離散表現と連続表現のギャップを埋める新しいエンドツーエンドビデオ予測パラダイムである予測微分レンダリング(PDR)を提案する。 PredGSは2次元ガウス表現に基づく軽量でプラグアンドプレイのアダプタで、既存の画素空間予測器とシームレスに統合でき、空間のディテール保存を無視できない計算オーバーヘッドで大幅に改善する。 さらに,任意のチャネルをサポートするCUDAアクセラレーション可能な2次元ガウスレンダラーであるpredgsplat を開発した。 各ガウスは5+Cの学習可能なパラメータ(配置、スケール、回転、Cチャネル振幅)で定義され、ベースラインよりも最大10倍高速なレンダリングを実現する。 L1とSSIMの損失の組み合わせによって最適化されたPDRは、MSE損失の固有のぼやけた傾向を克服し、予測性能を著しく向上させる。 TaxiBJ、WeatherBench、KTH、Human3.6Mなどの様々な実世界のベンチマークに関する大規模な実験は、PDRが既存の手法を一貫して超越し、優れたディテール保存、視覚的忠実さ、予測精度を提供することを示した。

関連論文リスト

• PointSplat: Compact Gaussian Splatting via Human-Centric Prediction [70.45838533838104]
  本研究では,ハエのインプットビューから3次元人間表現を創出する新しい人間中心のアプローチであるPointSplatを提案する。 提案手法は,まず粗い幾何学的プロキシを推定し,冗長点を起点とするレイキャスティングを行う。 その後、ポイント・イメージ・トランスフォーマーを使用して外観と幾何学的特徴を融合させ、ガウスの属性を1つの前方通過で予測する。
  論文  参考訳（メタデータ） (2026-06-30T17:59:05Z)
• NRGS: Neural Regularization for Robust 3D Semantic Gaussian Splatting [41.21645092733966]
  本稿では,多視点不整合な2次元特徴を持ち上げることで生成されるノイズの多い3次元セマンティックフィールドを改良するニューラル正規化手法を提案する。 実験により,提案手法は昇降セマンティクスの精度を高め,ロバストな3次元セマンティクス・ガウス・スプラッティングへの効率的かつ効果的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-24T10:57:05Z)
• TokenGS: Decoupling 3D Gaussian Prediction from Pixels with Learnable Tokens [25.44390249542703]
  我々は、カメラ線に沿った奥行きが最適であるとして、ガウスを退避させる一般的な実践は、準最適であると主張する。 本稿では,自己教師付きレンダリング損失のみを用いて,3次元平均座標を直接回帰する手法を提案する。 提案手法であるTokenGSは、ノイズやマルチビューの不整合に対処するための堅牢性の向上を実証する。
  論文  参考訳（メタデータ） (2026-04-16T17:12:37Z)
• EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
  既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。 本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
  論文  参考訳（メタデータ） (2025-03-26T02:47:27Z)
• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。 また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction [48.86083272054711]
  latentSplatは3D潜在空間における意味ガウスを予測し、軽量な生成型2Dアーキテクチャで切り落としてデコードする手法である。 latentSplatは、高速でスケーラブルで高解像度なデータでありながら、復元品質と一般化におけるこれまでの成果よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-24T20:48:36Z)
• GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
  我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。 提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-12-04T18:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。