論文の概要: Instant-NVR: Instant Neural Volumetric Rendering for Human-object
Interactions from Monocular RGBD Stream
- arxiv url: http://arxiv.org/abs/2304.03184v1
- Date: Thu, 6 Apr 2023 16:09:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-07 13:32:16.135631
- Title: Instant-NVR: Instant Neural Volumetric Rendering for Human-object
Interactions from Monocular RGBD Stream
- Title(参考訳): instant-nvr:単眼rgbdストリームからの人間と物体の相互作用のためのインスタントニューラルボリュームレンダリング
- Authors: Yuheng Jiang, Kaixin Yao, Zhuo Su, Zhehao Shen, Haimin Luo, Lan Xu
- Abstract要約: Instant-NVRは,1台のRGBDカメラを用いて,物体追跡とレンダリングを瞬時に行うニューラルネットワークである。
トラッキングフロントエンドでは、十分な動作先を提供するために、頑健な人間オブジェクトキャプチャー方式を採用する。
また,移動優先探索による動的・静電放射場をオンザフライで再構築する手法も提案する。
- 参考スコア(独自算出の注目度): 14.844982083586306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convenient 4D modeling of human-object interactions is essential for numerous
applications. However, monocular tracking and rendering of complex interaction
scenarios remain challenging. In this paper, we propose Instant-NVR, a neural
approach for instant volumetric human-object tracking and rendering using a
single RGBD camera. It bridges traditional non-rigid tracking with recent
instant radiance field techniques via a multi-thread tracking-rendering
mechanism. In the tracking front-end, we adopt a robust human-object capture
scheme to provide sufficient motion priors. We further introduce a separated
instant neural representation with a novel hybrid deformation module for the
interacting scene. We also provide an on-the-fly reconstruction scheme of the
dynamic/static radiance fields via efficient motion-prior searching. Moreover,
we introduce an online key frame selection scheme and a rendering-aware
refinement strategy to significantly improve the appearance details for online
novel-view synthesis. Extensive experiments demonstrate the effectiveness and
efficiency of our approach for the instant generation of human-object radiance
fields on the fly, notably achieving real-time photo-realistic novel view
synthesis under complex human-object interactions.
- Abstract(参考訳): ヒトと物体の相互作用の連続した4次元モデリングは多くの応用に不可欠である。
しかし、複雑なインタラクションシナリオの単眼追跡とレンダリングは依然として困難である。
本稿では,1台のRGBDカメラを用いた物体追跡・レンダリングのためのニューラルネットワークであるInstant-NVRを提案する。
従来の非剛性追跡を、マルチスレッド追跡レンダリング機構を通じて、最近の即時放射場技術で橋渡しする。
トラッキングフロントエンドでは、十分な動作先を提供するために、頑健な人間オブジェクトキャプチャー方式を採用する。
さらに、対話シーンのための新しいハイブリッド変形モジュールを用いた、分離された瞬間的ニューラル表現を導入する。
また,移動優先探索による動的・静電放射場をオンザフライで再現する手法を提案する。
さらに,オンラインのキーフレーム選択スキームとレンダリング・アウェア・リファインメント戦略を導入し,オンラインのノベルビュー合成の外観詳細を大幅に改善する。
提案手法の有効性と効率を実証する実験を行い, 複雑な人間-物体間相互作用下でのリアルタイムな光-リアリスティック・ノベル・ビュー合成を実現する。
関連論文リスト
- Scaling Up Dynamic Human-Scene Interaction Modeling [60.21472701182632]
TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。
人体全体の動きや部分レベルの物体の動きを複雑に捉えます。
本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
論文 参考訳(メタデータ) (2024-03-13T15:45:04Z) - MonoHuman: Animatable Human Neural Field from Monocular Video [30.113937856494726]
そこで我々は,任意のポーズの下で,ビュー一貫性と高忠実度アバターを強固に描画する新しいフレームワークMonoHumanを提案する。
我々のキーとなる洞察は、変形場を双方向の制約でモデル化し、オフザペグ情報を明示的に活用して、特徴を一貫性のある結果の推論を行うことである。
論文 参考訳(メタデータ) (2023-04-04T17:55:03Z) - GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳(メタデータ) (2023-03-24T03:32:02Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。
本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。
我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
論文 参考訳(メタデータ) (2022-09-18T03:58:00Z) - Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。
我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。
TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
論文 参考訳(メタデータ) (2022-05-30T17:47:31Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳(メタデータ) (2022-04-22T03:17:35Z) - NeuralFusion: Neural Volumetric Rendering under Human-object
Interactions [46.70371238621842]
本稿では,スパース・コンシューマRGBDセンサを用いたボリューム・オブジェクトのキャプチャとレンダリングのためのニューラル・アプローチを提案する。
幾何学的モデリングでは,非剛性鍵体積融合を用いたニューラル暗黙的推論方式を提案する。
また,空間的領域と時間的領域の両方において,ボリュームと画像に基づくレンダリングを組み合わせた階層的ヒューマンオブジェクトテクスチャレンダリング手法を提案する。
論文 参考訳(メタデータ) (2022-02-25T17:10:07Z) - Neural Human Performer: Learning Generalizable Radiance Fields for Human
Performance Rendering [34.80975358673563]
本稿では,強靭なパフォーマンスキャプチャのためのパラメトリック人体モデルに基づいて,一般化可能なニューラルラジアンス場を学習する手法を提案する。
ZJU-MoCap と AIST のデータセットを用いた実験により,本手法は近頃の一般化可能な NeRF 法よりも顕著に優れていることが示された。
論文 参考訳(メタデータ) (2021-09-15T17:32:46Z) - RobustFusion: Robust Volumetric Performance Reconstruction under
Human-object Interactions from Monocular RGBD Stream [27.600873320989276]
現実のシナリオでは、さまざまなオブジェクトと複雑な相互作用を持つ人間のパフォーマンスの高品質の4D再構築が不可欠です。
近年の進歩は、信頼性の高い性能回復には至っていない。
人間と物体のインタラクションシナリオのための堅牢なボリュームパフォーマンス再構築システムであるRobustFusionを提案する。
論文 参考訳(メタデータ) (2021-04-30T08:41:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。