論文の概要: Deblur-Avatar: Animatable Avatars from Motion-Blurred Monocular Videos

• arxiv url: http://arxiv.org/abs/2501.13335v1
• Date: Thu, 23 Jan 2025 02:31:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:58:19.044067
• Title: Deblur-Avatar: Animatable Avatars from Motion-Blurred Monocular Videos
• Title（参考訳）: Deblur-Avatar:モーションブルモノクロビデオのアニマタブルアバター
• Authors: Xianrui Luo, Juewen Peng, Zhongang Cai, Lei Yang, Fan Yang, Zhiguo Cao, Guosheng Lin,
• Abstract要約: デアバター(De-Avatar)は、モーションブルモノクロビデオ入力から高忠実でアニマタブルな3次元人間のアバターをモデリングするための新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 64.10307207290039
• License:
• Abstract: We introduce Deblur-Avatar, a novel framework for modeling high-fidelity, animatable 3D human avatars from motion-blurred monocular video inputs. Motion blur is prevalent in real-world dynamic video capture, especially due to human movements in 3D human avatar modeling. Existing methods either (1) assume sharp image inputs, failing to address the detail loss introduced by motion blur, or (2) mainly consider blur by camera movements, neglecting the human motion blur which is more common in animatable avatars. Our proposed approach integrates a human movement-based motion blur model into 3D Gaussian Splatting (3DGS). By explicitly modeling human motion trajectories during exposure time, we jointly optimize the trajectories and 3D Gaussians to reconstruct sharp, high-quality human avatars. We employ a pose-dependent fusion mechanism to distinguish moving body regions, optimizing both blurred and sharp areas effectively. Extensive experiments on synthetic and real-world datasets demonstrate that Deblur-Avatar significantly outperforms existing methods in rendering quality and quantitative metrics, producing sharp avatar reconstructions and enabling real-time rendering under challenging motion blur conditions.
• Abstract（参考訳）: 本稿では,高忠実でアニマタブルな3次元人体アバターを,モーションブルモノクロビデオ入力からモデリングするための新しいフレームワークであるDeblur-Avatarを紹介する。 動きのぼかしは、特に3次元アバターモデリングにおける人間の動きによって、現実世界のダイナミックビデオキャプチャーでよく見られる。 既存の手法では,(1)シャープな画像入力を仮定し,動きのぼやけによる細かな損失に対処できず,(2)カメラの動きによるぼやけを主に考慮し,人間の動きのぼやけを無視する。 提案手法は,人間の動きに基づく動きのぼかしモデルと3次元ガウススプラッティング(3DGS)を統合した。 被曝時の人体運動軌跡を明示的にモデル化することにより、鋭く高品質な人体アバターを再構築するために、軌跡と3Dガウスアンを共同で最適化する。 姿勢依存型融合機構を用いて移動体領域を識別し,ぼやけた領域と鋭い領域の両方を効果的に最適化する。 合成および実世界のデータセットに関する大規模な実験により、Deblur-Avatarは、品質とメトリクスのレンダリングにおいて既存の方法よりも大幅に優れており、鋭いアバター再構成を発生させ、挑戦的な動きのぼかし条件下でリアルタイムレンダリングを可能にすることが示されている。

関連論文リスト

• Move-in-2D: 2D-Conditioned Human Motion Generation [54.067588636155115]
  そこで我々は,シーンイメージに条件付けされた人間の動作シーケンスを生成する新しい手法であるMove-in-2Dを提案する。 本手法はシーンイメージとテキストプロンプトの両方を入力として受け入れ,シーンに合わせた動作シーケンスを生成する。
  論文  参考訳（メタデータ） (2024-12-17T18:58:07Z)
• Bundle Adjusted Gaussian Avatars Deblurring [31.718130377229482]
  本研究では,人間の運動に起因するぼかし形成の3次元的物理指向モデルと,運動誘発ぼかし画像に見られる曖昧さを明らかにするための3次元人体運動モデルを提案する。 我々は,360度同期ハイブリッド露光カメラシステムによって取得された実撮データセットとともに,既存のマルチビューキャプチャから合成されたデータセットを用いて,このタスクのベンチマークを確立した。
  論文  参考訳（メタデータ） (2024-11-24T10:03:24Z)
• AvatarGO: Zero-shot 4D Human-Object Interaction Generation and Animation [60.5897687447003]
  AvatarGOはテキスト入力からリアルな4D HOIシーンを生成するために設計された新しいフレームワークである。 我々のフレームワークは、コヒーレントな構成運動を生成するだけでなく、問題に対処する上でより堅牢性を示す。 4Dアバターをオブジェクトインタラクションで合成する最初の試みとして、AvatarGOが人間中心の4Dコンテンツを作るための新しい扉を開くことを願っている。
  論文  参考訳（メタデータ） (2024-10-09T17:58:56Z)
• ExFMan: Rendering 3D Dynamic Humans with Hybrid Monocular Blurry Frames and Events [7.820081911598502]
  ハイブリットフレームベースのRGBとバイオインスパイアされたイベントカメラを用いて,高品質な人間を高速動作でレンダリングする,最初のニューラルレンダリングフレームワークであるExFManを提案する。 まず、標準空間における3次元物体の速度場を定式化し、それを画像空間に描画して、動きのぼやけのある身体部位を識別する。 次に,2つの新たな損失,すなわちベロシティ対応光度損失とベロシティ関連事象損失を提案し,ニューラル・ヒューマンを両モードで最適化する。
  論文  参考訳（メタデータ） (2024-09-21T10:58:01Z)
• Motion Avatar: Generate Human and Animal Avatars with Arbitrary Motion [39.456643736018435]
  我々は、高品質なカスタマイズ可能な人間と動物のアバターの自動生成を可能にする、モーションアバターという新しいエージェントベースのアプローチを提案する。 第2に、動作とアバターの生成を協調するLLMプランナを導入し、識別計画をカスタマイズ可能なQ&A方式に変換する。 最後に,65種の動物を対象に,約30万対のテキスト・モーション・ペアからなる動物運動データセットZoo-300Kを紹介した。
  論文  参考訳（メタデータ） (2024-05-18T13:21:14Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)
• Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
  本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
  論文  参考訳（メタデータ） (2023-02-24T18:59:15Z)
• HULC: 3D Human Motion Capture with Pose Manifold Sampling and Dense Contact Guidance [82.09463058198546]
  シーンインタラクションを備えたマーカーレスモノクロ3Dモーションキャプチャ(MoCap)は、拡張現実、ロボティクス、仮想アバター生成に関連する挑戦的な研究課題である。 シーン形状を認識した3DヒューマンMoCapの新しいアプローチであるHULCを提案する。
  論文  参考訳（メタデータ） (2022-05-11T17:59:31Z)
• Action2video: Generating Videos of Human 3D Actions [31.665831044217363]
  我々は、所定のアクションカテゴリから多様で自然な人間の動きのビデオを生成するという、興味深いが挑戦的な課題に取り組むことを目的としている。 重要な問題は、視覚的な外観で現実的な複数の異なる動き列を合成する能力にある。 Action2motionallyは、所定のアクションカテゴリのもっともらしい3Dポーズシーケンスを生成し、モーション2ビデオによって処理され、レンダリングされ、2Dビデオを形成する。
  論文  参考訳（メタデータ） (2021-11-12T20:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。