論文の概要: StreamME: Simplify 3D Gaussian Avatar within Live Stream
- arxiv url: http://arxiv.org/abs/2507.17029v1
- Date: Tue, 22 Jul 2025 21:33:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-24 22:33:14.779831
- Title: StreamME: Simplify 3D Gaussian Avatar within Live Stream
- Title（参考訳）: StreamME: ライブストリーム内での3Dガウスアバターの簡易化
- Authors: Luchuan Song, Yang Zhou, Zhan Xu, Yi Zhou, Deepali Aneja, Chenliang Xu,
- Abstract要約: StreamMEは、プリキャッシュされたデータなしでライブビデオストリームからヘッドアバターを同期的に記録し、再構成する。
提案手法は3次元Splatting (3DGS) 上に構築され, 変形可能な3DGSにおけるガウシアンへの依存を解消する。
本手法は,VRシステムやオンライン会議において,顔のプライバシを保護し,通信帯域を削減する。
- 参考スコア（独自算出の注目度）: 37.483134633042155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose StreamME, a method focuses on fast 3D avatar reconstruction. The StreamME synchronously records and reconstructs a head avatar from live video streams without any pre-cached data, enabling seamless integration of the reconstructed appearance into downstream applications. This exceptionally fast training strategy, which we refer to as on-the-fly training, is central to our approach. Our method is built upon 3D Gaussian Splatting (3DGS), eliminating the reliance on MLPs in deformable 3DGS and relying solely on geometry, which significantly improves the adaptation speed to facial expression. To further ensure high efficiency in on-the-fly training, we introduced a simplification strategy based on primary points, which distributes the point clouds more sparsely across the facial surface, optimizing points number while maintaining rendering quality. Leveraging the on-the-fly training capabilities, our method protects the facial privacy and reduces communication bandwidth in VR system or online conference. Additionally, it can be directly applied to downstream application such as animation, toonify, and relighting. Please refer to our project page for more details: https://songluchuan.github.io/StreamME/.
- Abstract（参考訳）: 本稿では,高速な3次元アバター再構成を目的としたStreamMEを提案する。
StreamMEは、事前キャッシュされたデータなしでライブビデオストリームからヘッドアバターを同期的に記録および再構成し、再構成された外観を下流アプリケーションにシームレスに統合する。
この非常に速いトレーニング戦略は、私たちがオンザフライトレーニングと呼んでいるもので、私たちのアプローチの中心です。
本手法は3次元ガウススプラッティング(3DGS)上に構築され,変形可能な3DGSにおけるMLPへの依存を排除し,幾何学のみに依存するため,顔表情への適応速度を大幅に向上させる。
高効率のオンザフライトレーニングを実現するため,我々は一次点に基づく簡易化戦略を導入し,点雲を顔面に分散させ,レンダリング品質を維持しつつ点数を最適化した。
オンザフライトレーニング機能を活用することで、顔のプライバシーを保護し、VRシステムやオンライン会議における通信帯域を削減できる。
さらに、アニメーション、トーン化、リライトといったダウンストリームアプリケーションにも直接適用することができる。
詳しくは、プロジェクトページを参照してください。
関連論文リスト
- Motion Matters: Compact Gaussian Streaming for Free-Viewpoint Video Reconstruction [57.76758872762516]
3D Gaussian Splatting (3DGS)は、オンライン自由視点ビデオ(FVV)再構成のための高忠実で効率的なパラダイムとして登場した。
本研究では,動的シーンにおける動きの局所性と一貫性を活かした,コンパクトガウスストリーミング(ComGS)フレームワークを提案する。
ComGS は 3DGStream や 14X に比べて 159 X 以上のストレージ削減を実現している。
論文 参考訳（メタデータ） (2025-05-22T11:22:09Z) - OT-Talk: Animating 3D Talking Head with Optimal Transportation [20.023346831300373]
OT-Talkは、音声ヘッドアニメーションの学習モデルを最適化するために最適なトランスポートを利用する最初のアプローチである。
既存の学習フレームワークに基づいて,事前学習したHubertモデルを用いて音声特徴を抽出し,変換器モデルを用いて時間的シーケンスを処理する。
2つの公開オーディオ・メシュ・データセットに対する実験により,本手法が最先端技術より優れていることを示す。
論文 参考訳（メタデータ） (2025-05-03T21:49:23Z) - RGBAvatar: Reduced Gaussian Blendshapes for Online Modeling of Head Avatars [30.56664313203195]
本報告では,RGBアバター (Reduceed Gaussian Blendshapes Avatar, RGBAvatar, RGBAvatar, RGBAvatar) を用いて, 頭部アバターをオンザフライで再現するのに十分な速度で再構築する方法を提案する。
提案手法は, 3次元MMパラメータを, 合成により縮小したブレンドシェープ重みにマッピングし, コンパクトなブレンドシェープ基底に導いた。
本研究では,オフライン設定に匹敵する品質を確保しつつ,リアルタイムに映像ストリームとして画像を再構築し,直接オンザフライで再現できるローカル・グローバル・サンプリング・ストラテジーを提案する。
論文 参考訳（メタデータ） (2025-03-17T07:31:21Z) - VideoLifter: Lifting Videos to 3D with Fast Hierarchical Stereo Alignment [54.66217340264935]
VideoLifterは、ローカルからグローバルへの戦略を断片的に活用する、新しいビデオから3Dパイプラインである。
再建プロセスを大幅に加速し、訓練時間を82%以上削減し、現在のSOTA法よりも視覚的品質を向上した。
論文 参考訳（メタデータ） (2025-01-03T18:52:36Z) - InstantGeoAvatar: Effective Geometry and Appearance Modeling of Animatable Avatars from Monocular Video [19.14732665400654]
InstantGeoAvatarは、詳細な3次元幾何学の単眼ビデオから効率的かつ効果的な学習方法である。
本稿では,ボリュームレンダリングパイプラインにシームレスに適合する幾何対応 SDF 正規化方式を提案する。
幾何再構成と新しいビュー合成の競争力は5分以内のトレーニング時間で得られる。
論文 参考訳（メタデータ） (2024-11-03T10:26:33Z) - Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - V^3: Viewing Volumetric Videos on Mobiles via Streamable 2D Dynamic Gaussians [53.614560799043545]
V3 (Viewing Volumetric Videos) は,ダイナミックガウスのストリーミングによる高品質なモバイルレンダリングを実現する,新たなアプローチである。
私たちの重要なイノベーションは、ダイナミックな3DGSを2Dビデオと見なすことで、ハードウェアビデオコーデックの使用を促進することです。
モバイル端末でダイナミックなガウシアンをストリームする最初の手段として、私たちのコンパニオンプレーヤーは、前例のないボリュームビデオ体験をユーザに提供します。
論文 参考訳（メタデータ） (2024-09-20T16:54:27Z) - Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。
最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。
アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
論文 参考訳（メタデータ） (2023-03-23T00:15:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。