論文の概要: WildGHand: Learning Anti-Perturbation Gaussian Hand Avatars from Monocular In-the-Wild Videos
- arxiv url: http://arxiv.org/abs/2602.20556v1
- Date: Tue, 24 Feb 2026 05:14:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-25 17:34:53.614408
- Title: WildGHand: Learning Anti-Perturbation Gaussian Hand Avatars from Monocular In-the-Wild Videos
- Title(参考訳): WildGHand:モノクラー・イン・ザ・ワイルドビデオから反摂動型ガウスハンドアバターを学習
- Authors: Hanhui Li, Xuan Huang, Wanquan Liu, Yuhao Cheng, Long Chen, Yiqiang Yan, Xiaodan Liang, Chenqiang Gao,
- Abstract要約: 本研究では,WildGHandについて紹介する。WildGHandは,自己適応型3Dガウススプラッティングを実現する最適化ベースのフレームワークである。
さらに,多彩な摂動下で撮影された単眼手指ビデオのデータセットを収集し,手指アバター再建のベンチマークを行う。
- 参考スコア(独自算出の注目度): 68.43355277637882
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite recent progress in 3D hand reconstruction from monocular videos, most existing methods rely on data captured in well-controlled environments and therefore degrade in real-world settings with severe perturbations, such as hand-object interactions, extreme poses, illumination changes, and motion blur. To tackle these issues, we introduce WildGHand, an optimization-based framework that enables self-adaptive 3D Gaussian splatting on in-the-wild videos and produces high-fidelity hand avatars. WildGHand incorporates two key components: (i) a dynamic perturbation disentanglement module that explicitly represents perturbations as time-varying biases on 3D Gaussian attributes during optimization, and (ii) a perturbation-aware optimization strategy that generates per-frame anisotropic weighted masks to guide optimization. Together, these components allow the framework to identify and suppress perturbations across both spatial and temporal dimensions. We further curate a dataset of monocular hand videos captured under diverse perturbations to benchmark in-the-wild hand avatar reconstruction. Extensive experiments on this dataset and two public datasets demonstrate that WildGHand achieves state-of-the-art performance and substantially improves over its base model across multiple metrics (e.g., up to a $15.8\%$ relative gain in PSNR and a $23.1\%$ relative reduction in LPIPS). Our implementation and dataset are available at https://github.com/XuanHuang0/WildGHand.
- Abstract(参考訳): 最近のモノクロビデオからの3D手作りの進歩にもかかわらず、既存のほとんどの手法は、よく制御された環境で捉えたデータに依存しており、したがって手動物体の相互作用、極端なポーズ、照明の変化、動きのぼけなどの激しい摂動を伴う現実の環境では劣化している。
これらの問題に対処するために,WildGHandという,自己適応型3Dガウススプラッティングを可能にする最適化ベースのフレームワークを導入し,高忠実度ハンドアバターを製作する。
WildGHandには2つの重要なコンポーネントがある。
(i)最適化中の3次元ガウス属性の時間差バイアスとして摂動を明示的に表す動的摂動乱れモジュール、及び
(II) フレーム単位の異方性重み付きマスクを生成して最適化を導く摂動型最適化戦略。
これらの構成要素によって、フレームワークは空間的次元と時間的次元の両方にわたる摂動を識別し、抑制することができる。
さらに,多彩な摂動下で撮影された単眼手指ビデオのデータセットを収集し,手指アバター再建のベンチマークを行う。
このデータセットと2つの公開データセットに関する大規模な実験は、WildGHandが最先端のパフォーマンスを達成し、複数のメトリクスにわたるベースモデルを大幅に改善していることを示している(例えば、PSNRの15.8\%、LPIPSの23.1\%の相対的なゲインまで)。
私たちの実装とデータセットはhttps://github.com/XuanHuang0/WildGHand.comで公開されています。
関連論文リスト
- JOintGS: Joint Optimization of Cameras, Bodies and 3D Gaussians for In-the-Wild Monocular Reconstruction [18.636227266388218]
JOintGSは、カメラ外在物、人間のポーズ、および3Dガウス表現を協調的に最適化する統合フレームワークである。
NeuManとEMDBデータセットの実験は、JOintGSが優れた再構築品質を達成することを示した。
論文 参考訳(メタデータ) (2026-02-04T08:33:51Z) - RobustSplat++: Decoupling Densification, Dynamics, and Illumination for In-the-Wild 3DGS [85.90134051583368]
3D Gaussian Splatting (3DGS)は、新しいビュー合成と3Dモデリングにおけるリアルタイム、フォトリアリスティックレンダリングにおいて大きな注目を集めている。
既存の手法は、過渡的な物体や照度の影響を受けやすいシーンを正確にモデル化するのに苦労する。
いくつかの重要な設計に基づく堅牢なソリューションであるRobustSplat++を提案する。
論文 参考訳(メタデータ) (2025-12-04T14:05:09Z) - FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction [69.63414788486578]
FreeSplatterはスケーラブルなフィードフォワードフレームワークで、キャリブレーションされていないスパースビュー画像から高品質な3Dガウシアンを生成する。
当社のアプローチでは,自己注意ブロックが情報交換を容易にする合理化トランスフォーマーアーキテクチャを採用している。
包括的データセットに基づいて,オブジェクト中心とシーンレベルの再構築のための2つの特殊な変種を開発する。
論文 参考訳(メタデータ) (2024-12-12T18:52:53Z) - WildGaussians: 3D Gaussian Splatting in the Wild [80.5209105383932]
3DGSによる閉塞や外見の変化に対処する新しいアプローチであるWildGaussiansを紹介した。
我々はWildGaussianが3DGSとNeRFのベースラインを越えながら3DGSのリアルタイムレンダリング速度と一致していることを示す。
論文 参考訳(メタデータ) (2024-07-11T12:41:32Z) - Wild-GS: Real-Time Novel View Synthesis from Unconstrained Photo Collections [30.321151430263946]
本稿では、制約のない写真コレクションに最適化された3DGSの革新的な適応であるWild-GSについて述べる。
Wild-GSは、それぞれの3Dガウスの出現を、その固有の材料特性、大域照明と画像当たりのカメラ特性、反射率の点レベルの局所的ばらつきによって決定する。
この斬新な設計は、参照ビューの高周波詳細外観を3次元空間に効果的に転送し、トレーニングプロセスを大幅に高速化する。
論文 参考訳(メタデータ) (2024-06-14T19:06:07Z) - Out-of-Domain Human Mesh Reconstruction via Dynamic Bilevel Online
Adaptation [87.85851771425325]
我々は、人間のメッシュ再構成モデルをドメイン外ストリーミングビデオに適用する際の新しい問題を考える。
オンライン適応によってこの問題に対処し、テスト中のモデルのバイアスを徐々に修正します。
動的バイレベルオンライン適応アルゴリズム(DynaBOA)を提案する。
論文 参考訳(メタデータ) (2021-11-07T07:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。