論文の概要: Scanline-Aware Animatable Gaussian Avatars from Rolling-Shutter Videos
- arxiv url: http://arxiv.org/abs/2608.17314v1
- Date: Tue, 18 Aug 2026 03:08:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.193135
- Title: Scanline-Aware Animatable Gaussian Avatars from Rolling-Shutter Videos
- Title(参考訳): ローリング・シャッター映像からのScanline-Aware Animatable Gaussian Avatars
- Abstract要約: 本稿では,RSビデオから直接,シャープで歪みのないアニマタブルな3Dガウスアバターを再構成するRS-アバターを提案する。
動きを認識するアバターは、既にいくつかのサブフレームの瞬間に体をレンダリングし、ぼやけたモデルがそれらのレンダリングを平均すると、ローリングシャッターモデルがスキャンラインでそれらを合成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Animatable human avatars are routinely reconstructed from multi-view video under a silent assumption: that every pixel of a frame observes the same instant of the body's motion. Rolling-shutter (RS) sensors expose image rows sequentially, so within one frame the head and the feet of a moving person are separated by tens of milliseconds of articulated motion, and every scanline sees a different pose. Feeding such video to a state-of-the-art avatar bakes the distortion into the canonical representation, where it survives as shear and wobble under novel views and novel poses. Worse, every camera in a rig follows its own readout schedule, so the multi-view consistency that drives the reconstruction is violated even when the geometry is correct. We present RS-Avatar, which reconstructs a sharp, undistorted, animatable 3D Gaussian avatar directly from RS video. The formulation is minimal: a motion-aware avatar already renders the body at several sub-frame instants, and where a blur model averages those renderings, a rolling-shutter model composites them scanline by scanline. Changing that operator is the only modification required. On RS-ZJU, a benchmark we build from ZJU-MoCap, this improves novel-view synthesis over training as if the frames were instantaneous, on every subject. A motion-aware blur model built on the same sub-frame machinery does not transfer, and in fact falls below the shutter-oblivious baseline: the machinery is reusable, the operator is not.
- Abstract(参考訳): アニマタブルな人間のアバターは、フレームのすべてのピクセルが身体の動きの同じ瞬間を観察するという、無声の仮定の下で、マルチビュービデオから定期的に再構成される。
ローリングシャッター(RS)センサーは画像列を順次露光するので、動く人の頭部と足は数ミリ秒の関節運動で分離され、各スキャンラインは異なるポーズを見る。
このような映像を最先端のアバターに流すと、標準表現に歪みが入り込み、新奇な景色や新しいポーズの下では揺らぎや泡のように生き残る。
さらに悪いことに、リグ内のすべてのカメラは独自の読み出しスケジュールに従うので、ジオメトリが正しい場合でも、再構成を駆動するマルチビュー一貫性は違反する。
本稿では,RSビデオから直接,シャープで歪みのないアニマタブルな3Dガウスアバターを再構成するRS-アバターを提案する。
動きを認識するアバターは、既にいくつかのサブフレームの瞬間に体をレンダリングし、ぼやけたモデルがそれらのレンダリングを平均すると、ローリングシャッターモデルがスキャンラインでそれらを合成する。
そのオペレータを変更することが唯一の修正です。
ZJU-MoCapから構築したベンチマークであるRS-ZJUでは、フレームが即時であるかのように、トレーニングによる新規ビュー合成を改善する。
同じサブフレームマシン上に構築されたモーションアウェアブラーモデルは転送されず、実際にはシャッターオフブロードベースラインより下降する:機械は再利用可能であり、オペレーターはそうではない。
関連論文リスト
- IMAGIN-4D: Image-Guided Controllable Interaction Generation [53.66890088390554]
ヒューマンオブジェクトインタラクション(HOI)の生成は、キャラクタ、ロボティクス、AR/VR、組み込みAIの中心である。
画像条件を時間的に分解する拡散型HOIジェネレータIMAGIN-4Dを紹介する。
IMAGIN-4Dはシングルトーケンおよび一様画像条件のベースラインにおけるきめ細かい相互作用制御を改善する。
論文 参考訳(メタデータ) (2026-06-22T17:58:03Z) - Structure-Aware Fine-Grained Gaussian Splatting for Expressive Avatar Reconstruction [27.915439949805876]
本稿では,モノクロビデオシーケンスから表現力とコヒーレントなフルボディの3次元アバターを再構築する手法を提案する。
本手法では,1段階のトレーニングのみが必要であり,定量評価と定性評価の両方において,最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2026-04-10T13:49:15Z) - AGORA: Adversarial Generation Of Real-time Animatable 3D Gaussian Head Avatars [54.854597811704316]
AGORAは、3DGSを生成的敵ネットワーク内で拡張し、アニマタブルなアバターを生成する新しいフレームワークである。
表現の忠実度は、二重識別器の訓練スキームによって強制される。
AGORAは視覚的にリアルなだけでなく、正確に制御可能なアバターを生成する。
論文 参考訳(メタデータ) (2025-12-06T14:05:20Z) - Deblur-Avatar: Animatable Avatars from Motion-Blurred Monocular Videos [64.10307207290039]
本研究では,モーションブルモノクロビデオ入力から高忠実でアニマタブルな3次元アバターをモデリングするための新しいフレームワークを提案する。
被曝時の人体運動軌跡を明示的にモデル化することにより、鋭く高品質な人体アバターを再構築するために、軌跡と3Dガウスアンを共同で最適化する。
論文 参考訳(メタデータ) (2025-01-23T02:31:57Z) - CAP4D: Creating Animatable 4D Portrait Avatars with Morphable Multi-View Diffusion Models [9.622857933809067]
CAP4Dは、様々な参照画像からフォトリアルな4Dポートレートアバターを再構成するために、変形可能な多視点拡散モデルを用いるアプローチである。
提案手法は, 単一像, 少数像, 複数像の4Dポートレートアバター再構成における最先端性能を示す。
論文 参考訳(メタデータ) (2024-12-16T18:58:51Z) - Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。
メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。
本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
論文 参考訳(メタデータ) (2022-10-04T19:34:05Z) - PINA: Learning a Personalized Implicit Neural Avatar from a Single RGB-D
Video Sequence [60.46092534331516]
本稿では,短いRGB-Dシーケンスからパーソナライズされたインシシットニューラルアバター(PINA)を学習する方法を提案する。
PINAは完全なスキャンを必要としないし、人間の大規模なデータセットから事前の学習も必要ではない。
ポーズ条件付暗示面と変形場を用いて形状と非剛性変形を学習する手法を提案する。
論文 参考訳(メタデータ) (2022-03-03T15:04:55Z) - EgoRenderer: Rendering Human Avatars from Egocentric Camera Images [87.96474006263692]
EgoRendererは、ウェアラブルでエゴ中心の魚眼カメラで捉えた人の全身神経アバターをレンダリングするシステムである。
このようなエゴセントリックなイメージからフルボディのアバターをレンダリングすることは、トップダウンのビューと大きな歪みのために、ユニークな課題を生んでいる。
レンダリング処理をテクスチャ合成,ポーズ構築,ニューラルイメージ変換など,いくつかのステップに分解することで,これらの課題に対処する。
論文 参考訳(メタデータ) (2021-11-24T18:33:02Z) - Smooth head tracking for virtual reality applications [0.0]
本稿では,仮想3次元環境と人間と機械のリアルタイムインタラクションのための新しいヘッドトラッキングソリューションを提案する。
このソリューションは、RGBDデータを利用して、ユーザの頭の動きに応じて仮想カメラのポーズを計算する。
論文 参考訳(メタデータ) (2021-10-27T05:47:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。