論文の概要: ExFMan: Rendering 3D Dynamic Humans with Hybrid Monocular Blurry Frames and Events
- arxiv url: http://arxiv.org/abs/2409.14103v1
- Date: Sat, 21 Sep 2024 10:58:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 03:33:25.719912
- Title: ExFMan: Rendering 3D Dynamic Humans with Hybrid Monocular Blurry Frames and Events
- Title（参考訳）: ExFMan: ハイブリッドモノクルブルーのフレームとイベントで3D動的人間をレンダリングする
- Authors: Kanghao Chen, Zeyu Wang, Lin Wang,
- Abstract要約: ハイブリットフレームベースのRGBとバイオインスパイアされたイベントカメラを用いて,高品質な人間を高速動作でレンダリングする,最初のニューラルレンダリングフレームワークであるExFManを提案する。
まず、標準空間における3次元物体の速度場を定式化し、それを画像空間に描画して、動きのぼやけのある身体部位を識別する。
次に,2つの新たな損失,すなわちベロシティ対応光度損失とベロシティ関連事象損失を提案し,ニューラル・ヒューマンを両モードで最適化する。
- 参考スコア（独自算出の注目度）: 7.820081911598502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed tremendous progress in the 3D reconstruction of dynamic humans from a monocular video with the advent of neural rendering techniques. This task has a wide range of applications, including the creation of virtual characters for virtual reality (VR) environments. However, it is still challenging to reconstruct clear humans when the monocular video is affected by motion blur, particularly caused by rapid human motion (e.g., running, dancing), as often occurs in the wild. This leads to distinct inconsistency of shape and appearance for the rendered 3D humans, especially in the blurry regions with rapid motion, e.g., hands and legs. In this paper, we propose ExFMan, the first neural rendering framework that unveils the possibility of rendering high-quality humans in rapid motion with a hybrid frame-based RGB and bio-inspired event camera. The ``out-of-the-box'' insight is to leverage the high temporal information of event data in a complementary manner and adaptively reweight the effect of losses for both RGB frames and events in the local regions, according to the velocity of the rendered human. This significantly mitigates the inconsistency associated with motion blur in the RGB frames. Specifically, we first formulate a velocity field of the 3D body in the canonical space and render it to image space to identify the body parts with motion blur. We then propose two novel losses, i.e., velocity-aware photometric loss and velocity-relative event loss, to optimize the neural human for both modalities under the guidance of the estimated velocity. In addition, we incorporate novel pose regularization and alpha losses to facilitate continuous pose and clear boundary. Extensive experiments on synthetic and real-world datasets demonstrate that ExFMan can reconstruct sharper and higher quality humans.
- Abstract（参考訳）: 近年、ニューラルレンダリング技術が出現し、モノキュラービデオから動的人間の3D再構成が著しく進展しているのが観察されている。
このタスクには、バーチャルリアリティ(VR)環境用の仮想文字の作成など、幅広いアプリケーションがある。
しかし、モノクロビデオが動きのぼけ、特に急激な人間の動き(例えば、走ったり、踊ったり)によって引き起こされるとき、野生で頻繁に起こるように、明らかに人間を再構築することは依然として困難である。
これは、特に急激な動き、例えば手と足のぼやけた領域において、レンダリングされた3D人間の形状と外観の矛盾を生じさせる。
本稿では,ハイブリットフレームベースのRGBとバイオインスパイアされたイベントカメラを用いて,高品質な人間を高速動作でレンダリングする可能性を明らかにする,最初のニューラルネットワークレンダリングフレームワークであるExFManを提案する。
アウト・オブ・ザ・ボックス」の洞察は、イベントデータの高テンポラリな情報を補完的に活用し、レンダリングされた人間の速度に応じて、RGBフレームとローカル領域のイベントの両方の損失の影響を適応的に重み付けすることである。
これにより、RGBフレームにおける動きのぼやけに伴う不整合が著しく軽減される。
具体的には、まず標準空間内の3次元物体の速度場を定式化し、それを画像空間に描画し、動きのぼやけのある身体部位を識別する。
次に,2つの新たな損失,すなわち速度対応光度損失と速度関連事象損失を提案し,推定速度の誘導の下で両モードでニューラル・ヒューマンを最適化する。
さらに,新規ポーズ規則化とアルファ損失を組み込んで,連続ポーズと明確な境界を容易にする。
合成および実世界のデータセットに関する大規模な実験は、ExFManがよりシャープで高品質な人間を再構築できることを実証している。
関連論文リスト
- Bundle Adjusted Gaussian Avatars Deblurring [31.718130377229482]
本研究では,人間の運動に起因するぼかし形成の3次元的物理指向モデルと,運動誘発ぼかし画像に見られる曖昧さを明らかにするための3次元人体運動モデルを提案する。
我々は,360度同期ハイブリッド露光カメラシステムによって取得された実撮データセットとともに,既存のマルチビューキャプチャから合成されたデータセットを用いて,このタスクのベンチマークを確立した。
論文 参考訳（メタデータ） (2024-11-24T10:03:24Z) - CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images [12.603775893040972]
画像のぼやけた画像からリアルタイムレンダリング速度で正確な3Dシーンを再構成するために, 連続的な剛性運動対応ガウススプラッティング(CRiM-GS)を提案する。
我々は、剛体変換を利用して、物体の形状と大きさを保存し、適切な正則化でカメラの動きをモデル化する。
さらに,textitSE(3)フィールドに連続的な変形可能な3次元変換を導入し,剛体変換を実世界の問題に適用する。
論文 参考訳（メタデータ） (2024-07-04T13:37:04Z) - EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams [59.77837807004765]
本稿では,魚眼レンズを用いた一眼一眼レフカメラによる3次元モーションキャプチャーという新たな課題を紹介する。
イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。
我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、既存のソリューションと比較して堅牢性と優れた3D精度を示す。
論文 参考訳（メタデータ） (2024-04-12T17:59:47Z) - 3D Human Scan With A Moving Event Camera [7.734104968315144]
イベントカメラは高時間分解能と高ダイナミックレンジの利点がある。
本稿では,3次元ポーズ推定とヒューマンメッシュ復元のためのイベントベース手法を提案する。
論文 参考訳（メタデータ） (2024-04-12T14:34:24Z) - SurMo: Surface-based 4D Motion Modeling for Dynamic Human Rendering [45.51684124904457]
統合されたフレームワークにおける時間的ダイナミクスと人間の外見をモデル化する新しい4DモーションパラダイムであるSurMoを提案する。
効率的なコンパクトな表面ベース三面体で4次元の人間の動きをモデル化する表面ベースの動き符号化。
身体運動学習を促進するために設計された身体運動復号法。
表面条件の効率的なデコードにより、モーショントリプレーンを画像にレンダリングする4次元の外観モデリング。
論文 参考訳（メタデータ） (2024-04-01T16:34:27Z) - NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed
Neural Radiance Fields [99.57774680640581]
本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。
本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
論文 参考訳（メタデータ） (2022-10-28T07:11:05Z) - Learning Motion Priors for 4D Human Body Capture in 3D Scenes [81.54377747405812]
LEMO: LEMO: LEARING Human Motion priors for 4D human body capture。
提案手法では, 連続して復元されたポーズによって現れるジッタを減少させる新規な動きを事前に導入する。
また, 接触摩擦項と, 物体ごとの自己監督訓練により得られる接触認識運動充填剤を設計した。
パイプラインでは、高品質な4D人体撮影、スムーズな動きの再構築、身体とシーンの相互作用を実演しています。
論文 参考訳（メタデータ） (2021-08-23T20:47:09Z) - Neural Monocular 3D Human Motion Capture with Physical Awareness [76.55971509794598]
物理的に可塑性なマーカーレス3次元モーションキャプチャのための新しいトレーニングシステムを提案する。
人間のモーションキャプチャのためのほとんどのニューラルな手法とは異なり、我々のアプローチは物理的および環境的な制約を認識している。
様々な場面でインタラクティブなフレームレートで、滑らかで物理的に原理化された3dモーションを生成する。
論文 参考訳（メタデータ） (2021-05-03T17:57:07Z) - High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。
自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。
実験結果では,映像リアリズムの点で最先端を著しく上回っている。
論文 参考訳（メタデータ） (2020-12-20T16:54:38Z) - PhysCap: Physically Plausible Monocular 3D Motion Capture in Real Time [89.68248627276955]
シングルカラーカメラからのマーカレス3Dモーションキャプチャは、大きな進歩を遂げた。
しかし、これは非常に困難な問題であり、深刻な問題である。
我々はPhysCapについて紹介する。PhysCapは物理的に可塑性でリアルタイムでマーカーのない人間の3Dモーションキャプチャのための最初のアルゴリズムである。
論文 参考訳（メタデータ） (2020-08-20T10:46:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。