Fugu-MT 論文翻訳(概要): AUGlasses: Continuous Action Unit based Facial Reconstruction with Low-power IMUs on Smart Glasses

論文の概要: AUGlasses: Continuous Action Unit based Facial Reconstruction with Low-power IMUs on Smart Glasses

arxiv url: http://arxiv.org/abs/2405.13289v1
Date: Wed, 22 May 2024 02:07:56 GMT
ステータス: 処理完了
システム内更新日: 2024-05-25 01:34:09.738857
Title: AUGlasses: Continuous Action Unit based Facial Reconstruction with Low-power IMUs on Smart Glasses
Title（参考訳）: AUGlasses: スマートグラスの低消費電力IMUを用いた連続行動単位に基づく顔再構成
Authors: Yanrong Li, Tengxiang Zhang, Xin Zeng, Yuntao Wang, Haotian Zhang, Yiqiang Chen,
Abstract要約: スマートグラスのための小型・低消費電力センシングソリューションを開発した。 AUGlassesは、14個のキーAUの強度(0-5スケール)を、ユーザ平均絶対誤差(MAE)0.187で正確に予測する。また、さまざまな前処理とトレーニング技術を統合して、連続センシングのための堅牢なパフォーマンスを確保しました。
参考スコア（独自算出の注目度）: 19.019261626879036
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advancements in augmented reality (AR) have enabled the use of various sensors on smart glasses for applications like facial reconstruction, which is vital to improve AR experiences for virtual social activities. However, the size and power constraints of smart glasses demand a miniature and low-power sensing solution. AUGlasses achieves unobtrusive low-power facial reconstruction by placing inertial measurement units (IMU) against the temporal area on the face to capture the skin deformations, which are caused by facial muscle movements. These IMU signals, along with historical data on facial action units (AUs), are processed by a transformer-based deep learning model to estimate AU intensities in real-time, which are then used for facial reconstruction. Our results show that AUGlasses accurately predicts the strength (0-5 scale) of 14 key AUs with a cross-user mean absolute error (MAE) of 0.187 (STD = 0.025) and achieves facial reconstruction with a cross-user MAE of 1.93 mm (STD = 0.353). We also integrated various preprocessing and training techniques to ensure robust performance for continuous sensing. Micro-benchmark tests indicate that our system consistently performs accurate continuous facial reconstruction with a fine-tuned cross-user model, achieving an AU MAE of 0.35.
Abstract（参考訳）: 拡張現実(AR)の最近の進歩により、顔の再構成のような応用のために、さまざまなセンサーをスマートグラスに使用することが可能になった。しかし、スマートグラスのサイズとパワーの制約は、小型で低消費電力のセンシングソリューションを必要とする。 AUGlassesは、顔の側頭領域に慣性測定ユニット(IMU)を配置して、顔の筋肉の動きによって生じる皮膚の変形を捉えることにより、邪魔にならない低出力の顔再構成を実現する。これらのIMU信号は、顔行動単位(AU)の履歴データとともに、トランスフォーマーベースのディープラーニングモデルによって処理され、リアルタイムでAU強度を推定し、顔再構成に使用される。以上の結果より,AUGlasses は 0.187 (STD = 0.025) の絶対誤差 (MAE) を持つ14個のキー AU の強度 (0-5スケール) を正確に予測し,1.93 mm (STD = 0.353) のクロスユーザー MAE を用いて顔の再構成を行う。また、さまざまな前処理とトレーニング技術を統合して、連続センシングのための堅牢なパフォーマンスを確保しました。マイクロベンチマークテストにより, 微調整型クロスユーザーモデルを用いて連続顔の再現を連続的に行い, AU MAE0.35を達成できた。

関連論文リスト

Robotic Arm Platform for Multi-View Image Acquisition and 3D Reconstruction in Minimally Invasive Surgery [40.55055153469741]
本研究は,低侵襲手術環境下でのマルチビュー画像の効率的な取得と高精度な3次元再構成を実現するロボットアームプラットフォームを提案する。我々は,腹腔鏡をロボットアームに装着し,様々な照明条件で複数の卵巣器官の生検画像を撮影した。我々は最近リリースされた学習ベースの特徴マッチングとCOLMAPを併用して再構築を行った。
論文参考訳（メタデータ） (2024-10-15T15:42:30Z)
FacialPulse: An Efficient RNN-based Depression Detection via Temporal Facial Landmarks [21.076600109388394]
うつ病 (Depression) は、個人の生活と幸福に著しく影響を及ぼす精神疾患である。近年,表情特徴を活用して自動抑うつ検出を行うエンド・ツー・エンドのディープラーニング手法が多数存在する。本稿では,抑うつを高精度かつ高速に認識するFacialPulseという新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-08-07T01:50:34Z)
IMUSE: IMU-based Facial Expression Capture [38.521172709040215]
本稿では,純IMU信号を用いた表情認識のための新しい経路である,ギャップを埋めるためのIMUSEを提案する。我々はまず、解剖学的に駆動されるIMU配置スキームを伴って、顔の撮影に適したマイクロIMUを設計する。我々は,多様な表情に豊富なIMU/視覚信号を提供する新しいIMU-ARKitデータセットをコントリビュートする。
論文参考訳（メタデータ） (2024-02-03T14:27:18Z)
A Generalist FaceX via Learning Unified Facial Representation [77.74407008931486]
FaceXは、多様な顔タスクを同時に処理できる新しい顔ジェネラリストモデルである。汎用的なFaceXは、一般的な顔編集タスクの精巧なタスク特化モデルと比較して、競争性能が向上する。
論文参考訳（メタデータ） (2023-12-31T17:41:48Z)
From Static to Dynamic: Adapting Landmark-Aware Image Models for Facial Expression Recognition in Videos [88.08209394979178]
野生における動的表情認識(DFER)は、データ制限によって依然として妨げられている。抽出された顔のランドマーク認識機能に暗黙的に符号化された既存のSFER知識と動的情報を活用する新しい静的・動的モデル(S2D)を提案する。
論文参考訳（メタデータ） (2023-12-09T03:16:09Z)
A Novel Enhanced Convolution Neural Network with Extreme Learning Machine: Facial Emotional Recognition in Psychology Practices [31.159346405039667]
本研究の目的は、トレーニングセッション中の顔の感情認識精度を改善し、処理時間を短縮することである。提案したCNNEELMモデルは、JSFFE、CK+、FER2013式データセットでトレーニングされている。シミュレーションの結果,精度と処理時間が大きく向上し,映像解析に適したモデルが得られた。
論文参考訳（メタデータ） (2022-08-05T02:21:34Z)
Transformer Inertial Poser: Attention-based Real-time Human Motion Reconstruction from Sparse IMUs [79.72586714047199]
本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
論文参考訳（メタデータ） (2022-03-29T16:24:52Z)
Facial Emotion Recognition using Deep Residual Networks in Real-World Environments [5.834678345946704]
そこで本研究では,Wild内および大規模に収集されたビデオデータセットに基づいて訓練された顔特徴抽出モデルを提案する。データセットは100万のラベル付きフレームと2,616万の被験者で構成されている。感情認識領域において時間情報は重要であるため、LSTM細胞を用いてデータの時間的ダイナミクスを捉える。
論文参考訳（メタデータ） (2021-11-04T10:08:22Z)
A Computer Vision System to Help Prevent the Transmission of COVID-19 [79.62140902232628]
新型コロナウイルスのパンデミックは世界中の日常生活のあらゆる領域に影響を与える。保健機関は、ソーシャルディスタンス、フェイスマスクを着用し、触れる顔を避けることをアドバイスします。我々は、新型コロナウイルスの感染を防ぐためのディープラーニングベースのコンピュータビジョンシステムを開発した。
論文参考訳（メタデータ） (2021-03-16T00:00:04Z)
Unsupervised Learning Facial Parameter Regressor for Action Unit Intensity Estimation via Differentiable Renderer [51.926868759681014]
骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
論文参考訳（メタデータ） (2020-08-20T09:49:13Z)
Searching for Efficient Architecture for Instrument Segmentation in Robotic Surgery [58.63306322525082]
ほとんどのアプリケーションは、高解像度の外科画像の正確なリアルタイムセグメンテーションに依存している。我々は,高解像度画像のリアルタイム推論を行うために調整された,軽量で高効率なディープ残差アーキテクチャを設計する。
論文参考訳（メタデータ） (2020-07-08T21:38:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。