論文の概要: 3DTV: A Feedforward Interpolation Network for Real-Time View Synthesis

• arxiv url: http://arxiv.org/abs/2604.11211v1
• Date: Mon, 13 Apr 2026 09:06:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.449132
• Title: 3DTV: A Feedforward Interpolation Network for Real-Time View Synthesis
• Title（参考訳）: 3DTV:リアルタイムビュー合成のためのフィードフォワード補間ネットワーク
• Authors: Stefan Schulz, Fernando Edelstein, Hannah Dröge, Matthias B. Hullin, Markus Plack,
• Abstract要約: 3DTVはリアルタイムのスパースビューレンダリングのためのフィードネットワークである。 ポーズ対応深さモジュールは、粗い深さピラミッドを推定する。 フィードフォワードで再トレーニングすることなく動作し、AR/VR、テレプレゼンス、インタラクティブなアプリケーションに実用的だ。
• 参考スコア（独自算出の注目度）: 40.790950801945584
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Real-time free-viewpoint rendering requires balancing multi-camera redundancy with the latency constraints of interactive applications. We address this challenge by combining lightweight geometry with learning and propose 3DTV, a feedforward network for real-time sparse-view interpolation. A Delaunay-based triplet selection ensures angular coverage for each target view. Building on this, we introduce a pose-aware depth module that estimates a coarse-to-fine depth pyramid, enabling efficient feature reprojection and occlusion-aware blending. Unlike methods that require scene-specific optimization, 3DTV runs feedforward without retraining, making it practical for AR/VR, telepresence, and interactive applications. Our experiments on challenging multi-view video datasets demonstrate that 3DTV consistently achieves a strong balance of quality and efficiency, outperforming recent real-time novel-view baselines. Crucially, 3DTV avoids explicit proxies, enabling robust rendering across diverse scenes. This makes it a practical solution for low-latency multi-view streaming and interactive rendering. Project Page: https://stefanmschulz.github.io/3DTV_webpage/
• Abstract（参考訳）: リアルタイム自由視点レンダリングでは、対話型アプリケーションの遅延制約とマルチカメラ冗長性のバランスが要求される。 本稿では,軽量な幾何学と学習を組み合わせることでこの問題に対処し,リアルタイムなスパースビュー補間のためのフィードフォワードネットワークである3DTVを提案する。 Delaunayベースのトリプルト選択は、ターゲットビュー毎の角度カバレッジを保証する。 これに基づいて、粗大な深さピラミッドを推定し、効率的な特徴の再投影と閉塞認識ブレンディングを可能にする、ポーズ対応深度モジュールを導入する。 シーン固有の最適化を必要とする方法とは異なり、3DTVは再トレーニングせずにフィードフォワードで動作し、AR/VR、テレプレゼンス、インタラクティブなアプリケーションに実用的である。 マルチビュー・ビデオ・データセットに挑戦する実験により、3DTVは品質と効率のバランスを保ち、最近のリアルタイム・ノベル・ビュー・ベースラインを上回ります。 重要な点として、3DTVは露骨なプロキシを避け、多様なシーンで堅牢なレンダリングを可能にする。 これにより、低レイテンシのマルチビューストリーミングとインタラクティブレンダリングの実用的なソリューションとなる。 プロジェクトページ:https://stefanmschulz.github.io/3DTV_webpage/

関連論文リスト

• ViewMorpher3D: A 3D-aware Diffusion Framework for Multi-Camera Novel View Synthesis in Autonomous Driving [20.935790354765604]
  画像拡散モデルに基づく多視点画像拡張フレームワークであるViewMorpher3Dを紹介する。 シングルビューのアプローチとは異なり、ViewMorpher3Dはカメラのポーズに条件付けされた一連のレンダリングビュー、幾何学的先行3D、時間的に隣接または空間的に重複する参照ビューを共同で処理する。 我々のフレームワークは、様々なカメラとフレキシブルな参照/ターゲットビュー構成に対応しており、多様なセンサー設定に適応できる。
  論文  参考訳（メタデータ） (2026-01-12T13:44:14Z)
• Efficiently Reconstructing Dynamic Scenes One D4RT at a Time [54.67332582569525]
  本稿では、このタスクを効率的に解くために設計された、シンプルながら強力なフィードフォワードモデルであるD4RTを紹介する。 我々のデコードインタフェースにより、モデルは独立して、空間と時間の任意の点の3D位置を柔軟にプローブすることができる。 提案手法は,従来の手法よりも広い範囲の4次元再構成作業に優れることを示す。
  論文  参考訳（メタデータ） (2025-12-09T18:57:21Z)
• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
  本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。 VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
  論文  参考訳（メタデータ） (2025-05-26T17:56:30Z)
• ACT-R: Adaptive Camera Trajectories for Single View 3D Reconstruction [16.03389355810877]
  多視点合成に適応的な視点計画法を導入する。 我々は3次元コヒーレンスを高めるために時間的一貫性を活用して一連のビューを生成する。
  論文  参考訳（メタデータ） (2025-05-13T05:31:59Z)
• VideoLifter: Lifting Videos to 3D with Fast Hierarchical Stereo Alignment [54.66217340264935]
  VideoLifterは、ローカルからグローバルへの戦略を断片的に活用する、新しいビデオから3Dパイプラインである。 再建プロセスを大幅に加速し、訓練時間を82%以上削減し、現在のSOTA法よりも視覚的品質を向上した。
  論文  参考訳（メタデータ） (2025-01-03T18:52:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。