論文の概要: Tele360: Real-Time Feed-Forward Human Reconstruction from Sparse Unposed Cameras
- arxiv url: http://arxiv.org/abs/2609.15032v1
- Date: Mon, 14 Sep 2026 04:50:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.076221
- Title: Tele360: Real-Time Feed-Forward Human Reconstruction from Sparse Unposed Cameras
- Title（参考訳）: Tele360: スパースアンポーズカメラによるリアルタイムフィードフォワード人間の再構築
- Abstract要約: 我々は,人間の動的再構成とライブ自由視点可視化のための,最初のリアルタイムフィードフォワードシステムであるTele360を紹介する。
本システムでは,時間インスタンス毎に動的3次元ガウス表現を共同で推定し,再構成する。
実験によると、Tele360は1台のGPU上で25FPS以上のリアルタイム2K入力・レンダリングをサポートしながら、スタジオベンチマークの最先端のビジュアル品質を実現している。
- 参考スコア（独自算出の注目度）: 43.56045236607455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Live free-viewpoint visualization of real humans is critical for immersive communication and interactive digital experiences. Existing methods either rely on computationally expensive optimization or require calibrated cameras and low-resolution inputs, making real-time high-resolution deployment impractical. In this work, we present Tele360, the first real-time feed-forward system for dynamic human reconstruction and live free-viewpoint visualization from sparse, unposed RGB streams. Our system jointly estimates camera poses and reconstructs a dynamic 3D Gaussian representation for each time instance in a single forward pass. To achieve this, we start by designing a lightweight sparsity-aware multi-view transformer backbone that tokenizes foreground human regions while preserving global context through a shared scene token. We then employ a fully transformer-based Gaussian decoder to mitigate convolution-induced over-smoothing while keeping decoding sparse and efficient. In addition, we introduce a hybrid feature pyramid that injects multi-scale appearance cues into geometry prediction. We further introduce a lightweight differentiable Levenberg-Marquardt camera refinement layer to enhance multi-view consistency and geometric alignment. Moreover, to stabilize learning under sparse, unposed inputs, we transfer multi-view geometry priors from a large visual-geometry foundation model via teacher-student distillation. Finally, the predicted Gaussian maps are streamed with video codecs to remote devices for interactive free-viewpoint rendering. Extensive experiments show that Tele360 achieves state-of-the-art visual quality on studio benchmarks while supporting real-time 2K input-to-rendering at over 25 FPS on a single consumer GPU. Additional captured sequences illustrate its performance across varied subjects, clothing, and motions under our multi-camera setup.
- Abstract（参考訳）: 没入型コミュニケーションと対話型デジタル体験には,実人のライブ視点可視化が不可欠である。
既存の方法は計算コストのかかる最適化に頼るか、キャリブレーションされたカメラと低解像度の入力を必要とする。
本研究では,人間の動的再構成と疎外なRGBストリームからのライブ自由視点可視化のための,最初のリアルタイムフィードフォワードシステムであるTele360を提案する。
本システムでは,1回の前方通過で各時刻の動的3次元ガウス表現を共同で推定し,再構成する。
これを実現するために、我々は、共有シーントークンを通してグローバルなコンテキストを保存しながら、前景の人間領域をトークン化する軽量な空間対応マルチビュートランスフォーマーバックボーンを設計することから始める。
次に,完全変換器をベースとしたガウス復号器を用いて,畳み込みによる過度なスムース化を緩和し,疎結合かつ効率よく復号する。
さらに,幾何予測にマルチスケールな外観手がかりを注入するハイブリッドな特徴ピラミッドを導入する。
さらに、マルチビューの一貫性と幾何アライメントを高めるために、軽量な微分可能なレバンス・マルカート・カメラ・リファインメント層を導入する。
さらに,スパース・アンサープ入力下での学習を安定化させるため,教師-学生蒸留による大規模視覚幾何学基礎モデルから多視点幾何を転送する。
最後に、予測されたガウスマップは、インタラクティブな自由視点レンダリングのために、ビデオコーデックでリモートデバイスにストリーミングされる。
大規模な実験により、Tele360は1台のGPU上で25FPS以上のリアルタイム2Kインプット・ツー・レンダリングをサポートしながら、スタジオベンチマークの最先端のビジュアル品質を実現している。
追加のキャプチャーシーケンスでは、さまざまな被写体、衣服、動作にまたがるパフォーマンスをマルチカメラで示しています。
関連論文リスト
- FF-ProCams: Feed-Forward Gaussian Splatting for Projector-Camera System [17.828959053537798]
プロカメラシステム(ProCams)は,アクティブなシーン認識と,構造化照明による外観操作を実現する。
ProCamsの既存の逆レンダリング手法は、高忠実度な結果をもたらすが、シーンごとの時間的最適化に依存している。
本稿では,フィードフォワード3次元ガウス逆レンダリングフレームワークであるFF-ProCamsを提案する。
論文 参考訳（メタデータ） (2026-07-20T10:42:16Z) - ReViV: Reconstructing the Viewer and the View in 4D from Monocular Egocentric Video [51.951128822418774]
ReViVは、総合的なエゴセントリックな4D再構成のためのフレームワークである。
Masked Generative Egocentric Transformerにより、ReViVは単一のフィードフォワードアーキテクチャ内で動作する。
論文 参考訳（メタデータ） (2026-07-20T10:22:53Z) - Geometrically Consistent Multi-View Scene Generation from Freehand Sketches [58.98194920417429]
フリーハンドスケッチは、マルチビュージェネレータを提供することができる最も幾何学的に不十分な入力である。
学習データの欠如、歪んだ2次元入力からの幾何学的推論の必要性、ビュー間の整合性という3つの複合的な課題に対処する。
本フレームワークは,参照画像,反復的精細化,シーンごとの最適化を必要とせず,単一のデノナイジングプロセスですべてのビューを合成する。
論文 参考訳（メタデータ） (2026-04-15T18:00:45Z) - RobotPan: A 360$^\circ$ Surround-View Robotic Vision System for Embodied Perception [47.76543396190029]
6台のカメラをLiDARと組み合わせて360ドル(約3万2000円)のビジュアルカバレッジを提供するサラウンドビューロボットビジョンシステムを導入する。
また、キャリブレーションされたスパースビューの入力から、エンフェロメトリースケールとエンフェロパクトの3Dガウスを予測できるフィードフォワードフレームワークであるtextscRobotPan を提示する。
実験により,textscRobotPanはフィードフォワードの事前再構成やビュー合成手法と競合する品質を実現することが示された。
論文 参考訳（メタデータ） (2026-04-15T04:58:23Z) - ViewMorpher3D: A 3D-aware Diffusion Framework for Multi-Camera Novel View Synthesis in Autonomous Driving [20.935790354765604]
画像拡散モデルに基づく多視点画像拡張フレームワークであるViewMorpher3Dを紹介する。
シングルビューのアプローチとは異なり、ViewMorpher3Dはカメラのポーズに条件付けされた一連のレンダリングビュー、幾何学的先行3D、時間的に隣接または空間的に重複する参照ビューを共同で処理する。
我々のフレームワークは、様々なカメラとフレキシブルな参照/ターゲットビュー構成に対応しており、多様なセンサー設定に適応できる。
論文 参考訳（メタデータ） (2026-01-12T13:44:14Z) - Mon3tr: Monocular 3D Telepresence with Pre-built Gaussian Avatars as Amortization [16.68162021163563]
Mon3trは、3Dガウススプラッティング(3DGS)に基づくパラメトリック人間モデリングを統合する新しいモノクル3Dテレプレゼンスフレームワークである。
単眼のRGBカメラは、身体の動きや表情をリアルタイムで捉え、3DGSベースのパラメトリック人間モデルを駆動するために使用される。
提案手法は,新しいポーズに対するPSNR > 28 dB,80msのエンドツーエンドレイテンシ,1000倍の帯域幅削減を実現する。
論文 参考訳（メタデータ） (2026-01-12T13:17:41Z) - Visual Odometry with Transformers [68.453547770334]
特徴抽出により単眼フレームのシーケンスを処理するビジュアル・オドメトリ・トランスフォーマ(VoT)を導入する。
従来の方法とは異なり、VoTは密度の高い幾何学を推定することなくカメラの動きを直接予測し、監視のためにカメラのポーズのみに依存する。
VoTは、より大きなデータセットで効果的にスケールし、より強力なトレーニング済みバックボーンの恩恵を受け、多様なカメラモーションとキャリブレーション設定を一般化し、従来のメソッドよりも3倍以上高速に動作しながらパフォーマンスを向上する。
論文 参考訳（メタデータ） (2025-10-02T17:00:14Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z) - Real-time dense 3D Reconstruction from monocular video data captured by
low-cost UAVs [0.3867363075280543]
リアルタイム3d再構築は,ナビゲーションや緊急時のライブ評価など,多数のアプリケーションにメリットがある環境の高速密マッピングを可能にする。
ほとんどのリアルタイム対応のアプローチとは対照的に、我々のアプローチは明示的な深度センサーを必要としない。
建物周辺を斜め視で飛行する無人航空機(UAV)の自己動作を利用して、選択された画像のカメラ軌道と深度の両方を、十分な新規な内容で推定します。
論文 参考訳（メタデータ） (2021-04-21T13:12:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。