論文の概要: Let's Get the FACS Straight -- Reconstructing Obstructed Facial Features
- arxiv url: http://arxiv.org/abs/2311.05221v1
- Date: Thu, 9 Nov 2023 09:09:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-10 15:39:10.239037
- Title: Let's Get the FACS Straight -- Reconstructing Obstructed Facial Features
- Title（参考訳）: facsをストレートに - 妨害された顔の特徴の再構築
- Authors: Tim B\"uchner and Sven Sickert and Gerd Fabian Volk and Christoph
Anders and Orlando Guntinas-Lichius and Joachim Denzler
- Abstract要約: 本稿では,障害のある顔の部位を再構築し,繰り返し微調整を行う作業を避けることを提案する。
CycleGANアーキテクチャを使用することで、マッチしたペアの要求を解消できる。
このスコアは、センサーを妨害することなく、ビデオに似ています。
- 参考スコア（独自算出の注目度）: 5.7843271011811614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The human face is one of the most crucial parts in interhuman communication.
Even when parts of the face are hidden or obstructed the underlying facial
movements can be understood. Machine learning approaches often fail in that
regard due to the complexity of the facial structures. To alleviate this
problem a common approach is to fine-tune a model for such a specific
application. However, this is computational intensive and might have to be
repeated for each desired analysis task. In this paper, we propose to
reconstruct obstructed facial parts to avoid the task of repeated fine-tuning.
As a result, existing facial analysis methods can be used without further
changes with respect to the data. In our approach, the restoration of facial
features is interpreted as a style transfer task between different recording
setups. By using the CycleGAN architecture the requirement of matched pairs,
which is often hard to fullfill, can be eliminated. To proof the viability of
our approach, we compare our reconstructions with real unobstructed recordings.
We created a novel data set in which 36 test subjects were recorded both with
and without 62 surface electromyography sensors attached to their faces. In our
evaluation, we feature typical facial analysis tasks, like the computation of
Facial Action Units and the detection of emotions. To further assess the
quality of the restoration, we also compare perceptional distances. We can
show, that scores similar to the videos without obstructing sensors can be
achieved.
- Abstract（参考訳）: 人間の顔は、人間間コミュニケーションにおいて最も重要な部分の1つである。
顔の一部が隠されたり邪魔されたりしても、下層の顔の動きは理解できる。
機械学習のアプローチは、顔の構造が複雑であるために失敗することが多い。
この問題を緩和するために、そのような特定のアプリケーションのためにモデルを微調整する共通のアプローチがある。
しかし、これは計算量が多く、所望の分析タスクごとに繰り返す必要がある。
本稿では, 繰り返し微調整の作業を避けるため, 閉塞した顔面部を再構築することを提案する。
その結果、既存の顔分析手法は、データに関してさらなる変更を加えることなく利用できる。
本手法では,顔の特徴の復元を異なる記録装置間のスタイル伝達タスクとして解釈する。
サイクルガンアーキテクチャを使用することで、しばしば満たすのが難しいマッチしたペアの要求を排除できる。
提案手法の実用性を証明するため,実記録との比較を行った。
実験対象者の顔に62個の表面筋電図センサを装着した状態で36名の被験者を記録した。
評価では、顔の動作単位の計算や感情の検出など、典型的な顔分析タスクを特徴とする。
さらに,修復の質を評価するために,知覚距離を比較する。
このスコアは、センサーを妨害することなく、ビデオと同じようなものになります。
関連論文リスト
- FaceXFormer: A Unified Transformer for Facial Analysis [59.94066615853198]
FaceXformerは、さまざまな顔分析タスクのためのエンドツーエンドの統一トランスフォーマーモデルである。
本モデルでは,8つのタスクにまたがる頑健さと一般化性を実証し,画像の「夢中」を効果的に処理する。
論文 参考訳（メタデータ） (2024-03-19T17:58:04Z) - FACE-AUDITOR: Data Auditing in Facial Recognition Systems [24.082527732931677]
顔画像を扱うスケーラビリティと能力のために、ショットベースの顔認識システムが注目されている。
顔画像の誤使用を防止するために、簡単なアプローチとして、生の顔画像を共有する前に修正する方法がある。
そこで本研究では,FACE-AUDITORの完全ツールキットを提案する。このツールキットは,少数ショットベースの顔認識モデルに問い合わせ,ユーザの顔画像のいずれかがモデルのトレーニングに使用されているかどうかを判断する。
論文 参考訳（メタデータ） (2023-04-05T23:03:54Z) - CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial
Expression Recognition [80.07590100872548]
本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。
CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
論文 参考訳（メタデータ） (2022-08-10T15:46:05Z) - Expression-preserving face frontalization improves visually assisted
speech processing [35.647888055229956]
本論文の主な貢献は,非剛性顔の変形を保存したフロンダル化手法である。
深層学習パイプラインに組み込むと、音声認識と音声の不信度スコアがかなりの差で向上することを示す。
論文 参考訳（メタデータ） (2022-04-06T13:22:24Z) - Leveraging Real Talking Faces via Self-Supervision for Robust Forgery
Detection [112.96004727646115]
本研究では,実話を用いた顔操作映像の検出手法を開発した。
本手法は, クロスマニピュレーションの一般化とロバストネス実験における最先端性能を実現する。
以上の結果から、より堅牢な顔偽造検知器の開発には、自然ビデオと未表示ビデオの活用が有望な方向であることが示唆された。
論文 参考訳（メタデータ） (2022-01-18T17:14:54Z) - What happens in Face during a facial expression? Using data mining
techniques to analyze facial expression motion vectors [9.962268111440105]
マシンが表情を認識する方法の1つは、表情提示中の顔の変化を分析することである。
C5.0, CRT, QUEST, CHAID, Deep Learning (DL), SVM, Discriminantといった最先端の分類アルゴリズムを用いて, 抽出した動きベクトルを分類した。
Extended Cohen-Kanade (CK+) の表情データセットの実験結果によると、最良の方法はDL、SVM、C5.0である。
論文 参考訳（メタデータ） (2021-09-12T08:17:44Z) - Learning Facial Representations from the Cycle-consistency of Face [23.23272327438177]
顔特徴の周期一貫性を自由監督信号として導入し、ラベルのない顔画像から顔の表情を学習する。
この学習は、顔の動きサイクルの制約とアイデンティティのサイクルの制約を重畳することによって実現される。
我々のアプローチは既存の手法と競合し、アンタングル表現に埋め込まれたリッチでユニークな情報を実証する。
論文 参考訳（メタデータ） (2021-08-07T11:30:35Z) - I Only Have Eyes for You: The Impact of Masks On Convolutional-Based
Facial Expression Recognition [78.07239208222599]
今回提案したFaceChannelがマスクを持つ人からの表情認識にどのように適応するかを評価します。
また、制約された社会的相互作用シナリオにおける顔の特徴の変化を学習し、組み合わせるためのFaceChannelの本質的な能力を示すために、特定の機能レベルの可視化も行います。
論文 参考訳（メタデータ） (2021-04-16T20:03:30Z) - Dynamic Facial Expression Recognition under Partial Occlusion with
Optical Flow Reconstruction [20.28462460359439]
本研究では,光フロー領域における顔面の閉塞部分を再構成するためのスキップ接続を備えた自動エンコーダに基づく新しいソリューションを提案する。
提案手法は,オクルード状態と非オクルード状態の間における認識精度の差を著しく低減することを示す。
論文 参考訳（メタデータ） (2020-12-24T12:28:47Z) - Unsupervised Learning Facial Parameter Regressor for Action Unit
Intensity Estimation via Differentiable Renderer [51.926868759681014]
骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。
提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
論文 参考訳（メタデータ） (2020-08-20T09:49:13Z) - InterFaceGAN: Interpreting the Disentangled Face Representation Learned
by GANs [73.27299786083424]
我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。
まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。
次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
論文 参考訳（メタデータ） (2020-05-18T18:01:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。