論文の概要: Real-time Pupil Tracking from Monocular Video for Digital Puppetry
- arxiv url: http://arxiv.org/abs/2006.11341v1
- Date: Fri, 19 Jun 2020 19:39:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 05:00:26.988244
- Title: Real-time Pupil Tracking from Monocular Video for Digital Puppetry
- Title(参考訳): デジタル人形用モノクラー映像からのリアルタイム瞳孔追跡
- Authors: Artsiom Ablavatski, Andrey Vakunov, Ivan Grishchenko, Karthik
Raveendran, Matsvei Zhdanovich
- Abstract要約: モバイル端末上でのライブビデオからの瞳孔追跡をリアルタイムに行う手法を提案する。
提案手法は,2つの新しいコンポーネントを持つ最先端のフェイスメッシュ検出器を拡張した。
提案手法は、現代の携帯電話で50FPS以上で動作し、リアルタイムな操りパイプラインでの使用を可能にする。
- 参考スコア(独自算出の注目度): 1.0499611180329804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a simple, real-time approach for pupil tracking from live video on
mobile devices. Our method extends a state-of-the-art face mesh detector with
two new components: a tiny neural network that predicts positions of the pupils
in 2D, and a displacement-based estimation of the pupil blend shape
coefficients. Our technique can be used to accurately control the pupil
movements of a virtual puppet, and lends liveliness and energy to it. The
proposed approach runs at over 50 FPS on modern phones, and enables its usage
in any real-time puppeteering pipeline.
- Abstract(参考訳): モバイル端末上でのライブビデオからの瞳孔追跡のための簡単なリアルタイム手法を提案する。
本手法は,2次元で瞳孔の位置を推定する小さなニューラルネットワークと,瞳孔ブレンド形状係数の変位に基づく推定という,最先端の顔面メッシュ検出器を2つの新しいコンポーネントで拡張する。
本手法は,仮想人形の瞳運動を正確に制御し,活気とエネルギーを付与するのに有効である。
提案手法は、現代の携帯電話で50FPS以上で動作し、リアルタイムな操りパイプラインでの使用を可能にする。
関連論文リスト
- FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳(メタデータ) (2023-10-26T16:13:00Z) - ProxyCap: Real-time Monocular Full-body Capture in World Space via
Human-Centric Proxy-to-Motion Learning [47.228139909747235]
本稿では,世界空間の動きを学習するための人間中心のプロキシ・ツー・モーション学習スキームであるProxyCapを紹介する。
我々のネットワークは人間中心の視点から人間の動きを学ぶように設計されている。
本研究では,世界空間における足場接触を可能とした実時間単眼フルボディキャプチャシステムについて紹介する。
論文 参考訳(メタデータ) (2023-07-03T17:59:45Z) - Real-time volumetric rendering of dynamic humans [83.08068677139822]
本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。
提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。
新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
論文 参考訳(メタデータ) (2023-03-21T14:41:25Z) - Dynamic Neural Portraits [58.480811535222834]
フルヘッド再現問題に対する新しいアプローチであるDynamic Neural Portraitsを提案する。
本手法は,頭部ポーズ,表情,視線を明示的に制御し,写実的な映像像を生成する。
実験の結果,提案手法は最近のNeRF法よりも270倍高速であることがわかった。
論文 参考訳(メタデータ) (2022-11-25T10:06:14Z) - NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。
実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
論文 参考訳(メタデータ) (2022-10-22T04:57:55Z) - MotionBERT: A Unified Perspective on Learning Human Motion
Representations [46.67364057245364]
本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。
本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。
動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
論文 参考訳(メタデータ) (2022-10-12T19:46:25Z) - STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in
Motion with Neural Rendering [9.600908665766465]
本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。
本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
論文 参考訳(メタデータ) (2020-12-22T23:45:28Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳(メタデータ) (2020-07-22T21:09:11Z) - Video Representation Learning by Recognizing Temporal Transformations [37.59322456034611]
本研究では,モーションダイナミクスの変化に応答するビデオの表現を学習するための,新たな自己教師型学習手法を提案する。
人間のアノテーションを使わずに正確な動きの学習を促進するために、ニューラルネットワークを訓練し、その時間的に変換されたバージョンから映像シーケンスを識別する。
本実験により,提案手法を用いてトレーニングしたネットワークは,動作認識のための転送性能の向上を図った。
論文 参考訳(メタデータ) (2020-07-21T11:43:01Z) - Event Based, Near Eye Gaze Tracking Beyond 10,000Hz [41.23347304960948]
我々は,1万Hzを超える更新率を有するハイブリッドフレームイベントベースの近目視追跡システムを提案する。
我々のシステムは、定期的にサンプリングされたフレームと適応的にサンプリングされたイベントを同時に取得する新興イベントカメラの上に構築されている。
我々は,仮想現実と拡張現実のための,次世代の超低遅延視線コンテンツレンダリングおよび表示技術の実現を期待している。
論文 参考訳(メタデータ) (2020-04-07T17:57:18Z) - Distilled Semantics for Comprehensive Scene Understanding from Videos [53.49501208503774]
本稿では,一眼レフカメラによる全体像の理解に向けて,セマンティクスとともに深度や動きを学習し,さらなる一歩を踏み出した。
これら3つの課題を,知識蒸留と自己監督に基づく新たなトレーニングプロトコルによって共同で解決する。
その結果, 単眼深度推定, 光流, モーションセグメンテーションの最先端結果が得られた。
論文 参考訳(メタデータ) (2020-03-31T08:52:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。