Fugu-MT 論文翻訳(概要): Real-time Pupil Tracking from Monocular Video for Digital Puppetry

論文の概要: Real-time Pupil Tracking from Monocular Video for Digital Puppetry

arxiv url: http://arxiv.org/abs/2006.11341v1
Date: Fri, 19 Jun 2020 19:39:32 GMT
ステータス: 処理完了
システム内更新日: 2022-11-19 05:00:26.988244
Title: Real-time Pupil Tracking from Monocular Video for Digital Puppetry
Title（参考訳）: デジタル人形用モノクラー映像からのリアルタイム瞳孔追跡
Authors: Artsiom Ablavatski, Andrey Vakunov, Ivan Grishchenko, Karthik Raveendran, Matsvei Zhdanovich
Abstract要約: モバイル端末上でのライブビデオからの瞳孔追跡をリアルタイムに行う手法を提案する。提案手法は,2つの新しいコンポーネントを持つ最先端のフェイスメッシュ検出器を拡張した。提案手法は、現代の携帯電話で50FPS以上で動作し、リアルタイムな操りパイプラインでの使用を可能にする。
参考スコア（独自算出の注目度）: 1.0499611180329804
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a simple, real-time approach for pupil tracking from live video on mobile devices. Our method extends a state-of-the-art face mesh detector with two new components: a tiny neural network that predicts positions of the pupils in 2D, and a displacement-based estimation of the pupil blend shape coefficients. Our technique can be used to accurately control the pupil movements of a virtual puppet, and lends liveliness and energy to it. The proposed approach runs at over 50 FPS on modern phones, and enables its usage in any real-time puppeteering pipeline.
Abstract（参考訳）: モバイル端末上でのライブビデオからの瞳孔追跡のための簡単なリアルタイム手法を提案する。本手法は,2次元で瞳孔の位置を推定する小さなニューラルネットワークと,瞳孔ブレンド形状係数の変位に基づく推定という,最先端の顔面メッシュ検出器を2つの新しいコンポーネントで拡張する。本手法は,仮想人形の瞳運動を正確に制御し,活気とエネルギーを付与するのに有効である。提案手法は、現代の携帯電話で50FPS以上で動作し、リアルタイムな操りパイプラインでの使用を可能にする。

関連論文リスト

High-quality Animatable Eyelid Shapes from Lightweight Captures [6.768777045612227]
携帯電話で撮影したRGBビデオのみを用いて、より詳細なアイライド再構成とアニメーションを実現する新しい手法を提案する。本手法は眼球の静的情報と動的情報を用いて眼球再建を支援する。我々は,眼科のセマンティックアニメーション制御を実現するために,ニューラルアイリッド制御モジュールを開発した。
論文参考訳（メタデータ） (2024-10-02T09:18:43Z)
Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [67.97235923372035]
本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。テスト時には、ひとつのイメージと粗い動き軌跡が与えられた場合、Puppet-Masterは、与えられたドラッグ操作に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。
論文参考訳（メタデータ） (2024-08-08T17:59:38Z)
ProxyCap: Real-time Monocular Full-body Capture in World Space via Human-Centric Proxy-to-Motion Learning [47.228139909747235]
本稿では,世界空間の動きを学習するための人間中心のプロキシ・ツー・モーション学習スキームであるProxyCapを紹介する。我々のネットワークは人間中心の視点から人間の動きを学ぶように設計されている。本研究では,世界空間における足場接触を可能とした実時間単眼フルボディキャプチャシステムについて紹介する。
論文参考訳（メタデータ） (2023-07-03T17:59:45Z)
Real-time volumetric rendering of dynamic humans [83.08068677139822]
本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
論文参考訳（メタデータ） (2023-03-21T14:41:25Z)
Dynamic Neural Portraits [58.480811535222834]
フルヘッド再現問題に対する新しいアプローチであるDynamic Neural Portraitsを提案する。本手法は,頭部ポーズ,表情,視線を明示的に制御し,写実的な映像像を生成する。実験の結果,提案手法は最近のNeRF法よりも270倍高速であることがわかった。
論文参考訳（メタデータ） (2022-11-25T10:06:14Z)
NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
論文参考訳（メタデータ） (2022-10-22T04:57:55Z)
MotionBERT: A Unified Perspective on Learning Human Motion Representations [46.67364057245364]
本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
論文参考訳（メタデータ） (2022-10-12T19:46:25Z)
STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in Motion with Neural Rendering [9.600908665766465]
本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
論文参考訳（メタデータ） (2020-12-22T23:45:28Z)
Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文参考訳（メタデータ） (2020-07-22T21:09:11Z)
Event Based, Near Eye Gaze Tracking Beyond 10,000Hz [41.23347304960948]
我々は,1万Hzを超える更新率を有するハイブリッドフレームイベントベースの近目視追跡システムを提案する。我々のシステムは、定期的にサンプリングされたフレームと適応的にサンプリングされたイベントを同時に取得する新興イベントカメラの上に構築されている。我々は,仮想現実と拡張現実のための,次世代の超低遅延視線コンテンツレンダリングおよび表示技術の実現を期待している。
論文参考訳（メタデータ） (2020-04-07T17:57:18Z)
Distilled Semantics for Comprehensive Scene Understanding from Videos [53.49501208503774]
本稿では,一眼レフカメラによる全体像の理解に向けて,セマンティクスとともに深度や動きを学習し,さらなる一歩を踏み出した。これら3つの課題を,知識蒸留と自己監督に基づく新たなトレーニングプロトコルによって共同で解決する。その結果, 単眼深度推定, 光流, モーションセグメンテーションの最先端結果が得られた。
論文参考訳（メタデータ） (2020-03-31T08:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。