論文の概要: JointSplat: Probabilistic Joint Flow-Depth Optimization for Sparse-View Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2506.03872v1
• Date: Wed, 04 Jun 2025 12:04:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.313582
• Title: JointSplat: Probabilistic Joint Flow-Depth Optimization for Sparse-View Gaussian Splatting
• Title（参考訳）: JointSplat: スパースビューガウス平滑化のための確率的関節流動深さ最適化
• Authors: Yang Xiao, Guoan Xu, Qiang Wu, Wenjing Jia,
• Abstract要約: スパースの観点から3Dシーンを再構築することは、幅広いアプリケーションにおいて長年にわたる課題である。 近年のフィードフォワード3Dガウスのスパースビュー再構成法は, リアルタイムな新規ビュー合成のための効率的な解法である。 光学的流れと深さの相補性を利用する統一的なフレームワークであるJointSplatを提案する。
• 参考スコア（独自算出の注目度）: 10.690965024885358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing 3D scenes from sparse viewpoints is a long-standing challenge with wide applications. Recent advances in feed-forward 3D Gaussian sparse-view reconstruction methods provide an efficient solution for real-time novel view synthesis by leveraging geometric priors learned from large-scale multi-view datasets and computing 3D Gaussian centers via back-projection. Despite offering strong geometric cues, both feed-forward multi-view depth estimation and flow-depth joint estimation face key limitations: the former suffers from mislocation and artifact issues in low-texture or repetitive regions, while the latter is prone to local noise and global inconsistency due to unreliable matches when ground-truth flow supervision is unavailable. To overcome this, we propose JointSplat, a unified framework that leverages the complementarity between optical flow and depth via a novel probabilistic optimization mechanism. Specifically, this pixel-level mechanism scales the information fusion between depth and flow based on the matching probability of optical flow during training. Building upon the above mechanism, we further propose a novel multi-view depth-consistency loss to leverage the reliability of supervision while suppressing misleading gradients in uncertain areas. Evaluated on RealEstate10K and ACID, JointSplat consistently outperforms state-of-the-art (SOTA) methods, demonstrating the effectiveness and robustness of our proposed probabilistic joint flow-depth optimization approach for high-fidelity sparse-view 3D reconstruction.
• Abstract（参考訳）: スパースの観点から3Dシーンを再構築することは、幅広いアプリケーションにおいて長年にわたる課題である。 近年のフィードフォワード3Dガウスのスパースビュー再構成法は,大規模マルチビューデータセットから学習した幾何学的先行情報を活用し,バックプロジェクションによる3Dガウス中心の計算により,リアルタイムな新規ビュー合成のための効率的なソリューションを提供する。 前者は低テクスチャ領域や繰り返し領域における誤配置やアーティファクトの問題に悩まされる一方、後者は地中トルース流の監督が不可能な場合の信頼性の低いマッチのため、局所ノイズや大域的不整合に悩まされる。 これを解決するために,新しい確率的最適化機構により,光学フローと深さの相補性を利用する統一的なフレームワークであるJointSplatを提案する。 具体的には、この画素レベルのメカニズムは、トレーニング中の光フローの一致確率に基づいて、深さと流れの間の情報融合をスケールする。 さらに,この機構を基盤として,不確実な地域での誤解を招く勾配を抑えつつ,監督の信頼性を活用するために,新たな多視点深度不整合損失を提案する。 高忠実度スパース・ビュー3D再構成のための確率的関節流動深度最適化手法の有効性とロバスト性を実証し、RealEstate10KとACIDに基づいて、JointSplatは一貫して最先端(SOTA)法より優れていた。

関連論文リスト

• Intern-GS: Vision Model Guided Sparse-View 3D Gaussian Splatting [95.61137026932062]
  Intern-GSはスパースビューガウススプラッティングのプロセスを強化する新しいアプローチである。 Intern-GSは多様なデータセットにまたがって最先端のレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2025-05-27T05:17:49Z)
• FreeSplat++: Generalizable 3D Gaussian Splatting for Efficient Indoor Scene Reconstruction [50.534213038479926]
  FreeSplat++は大規模な屋内全シーン再構築の代替手法である。 深度調整による微調整により,再現精度が大幅に向上し,トレーニング時間も大幅に短縮された。
  論文  参考訳（メタデータ） (2025-03-29T06:22:08Z)
• See In Detail: Enhancing Sparse-view 3D Gaussian Splatting with Local Depth and Semantic Regularization [14.239772421978373]
  3次元ガウス散乱(3DGS)は、新規なビュー合成において顕著な性能を示した。 しかし、そのレンダリング品質は、粗いインフットビューによって劣化し、歪んだコンテンツと細部が減少する。 本稿では,事前情報を取り入れたスパースビュー3DGS法を提案する。 LLFFデータセット上でPSNRを最大0.4dB改善し、最先端の新規ビュー合成手法より優れる。
  論文  参考訳（メタデータ） (2025-01-20T14:30:38Z)
• RDG-GS: Relative Depth Guidance with Gaussian Splatting for Real-time Sparse-View 3D Rendering [13.684624443214599]
  本稿では,3次元ガウススプラッティングに基づく相対深度誘導を用いた新しいスパースビュー3DレンダリングフレームワークRDG-GSを提案する。 中心となる革新は、相対的な深度誘導を利用してガウス場を洗練させ、ビュー一貫性のある空間幾何学的表現に向けてそれを操ることである。 Mip-NeRF360, LLFF, DTU, Blenderに関する広範な実験を通じて、RDG-GSは最先端のレンダリング品質と効率を実証している。
  論文  参考訳（メタデータ） (2025-01-19T16:22:28Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
  3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。 これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。 本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:18:30Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)
• Deep Probabilistic Feature-metric Tracking [27.137827823264942]
  画素単位の深度特徴写像と深度特徴量不確実性写像を学習するための新しいフレームワークを提案する。 CNNは、より高速で信頼性の高い収束のための深い初期ポーズを予測する。 実験により,TUM RGB-Dデータセットと3次元剛性物体追跡データセットの最先端性能が示された。
  論文  参考訳（メタデータ） (2020-08-31T11:47:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。