論文の概要: Including Facial Expressions in Contextual Embeddings for Sign Language
Generation
- arxiv url: http://arxiv.org/abs/2202.05383v1
- Date: Fri, 11 Feb 2022 00:47:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 06:54:26.799808
- Title: Including Facial Expressions in Contextual Embeddings for Sign Language
Generation
- Title(参考訳): 手話生成のための文脈埋め込みにおける顔表現
- Authors: Carla Viegas, Mert \.Inan, Lorna Quandt, Malihe Alikhani
- Abstract要約: 我々は,手話生成システムの性能に及ぼすテキスト,光沢,表情の関係をモデル化する効果について検討した。
本研究は,手話生成において顔面動作単位を最初に用いた人物として,手話の強度を表現するために顔面筋活動が果たす役割について考察する。
- 参考スコア(独自算出の注目度): 11.794563225903813
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State-of-the-art sign language generation frameworks lack expressivity and
naturalness which is the result of only focusing manual signs, neglecting the
affective, grammatical and semantic functions of facial expressions. The
purpose of this work is to augment semantic representation of sign language
through grounding facial expressions. We study the effect of modeling the
relationship between text, gloss, and facial expressions on the performance of
the sign generation systems. In particular, we propose a Dual Encoder
Transformer able to generate manual signs as well as facial expressions by
capturing the similarities and differences found in text and sign gloss
annotation. We take into consideration the role of facial muscle activity to
express intensities of manual signs by being the first to employ facial action
units in sign language generation. We perform a series of experiments showing
that our proposed model improves the quality of automatically generated sign
language.
- Abstract(参考訳): 最先端の手話生成フレームワークは、表情の感情的、文法的、意味的な機能を無視し、手話のみに焦点を当てた結果、表現性と自然性を欠いている。
本研究の目的は,表情の接地による手話の意味表現の強化である。
本研究は,手話生成システムの性能に及ぼすテキスト,光沢,表情の関係のモデル化の影響について検討する。
特に,テキストや手話の注釈にみられる類似点や相違点を捉えることで,手話や表情を生成できるデュアルエンコーダトランスを提案する。
本研究は,手話生成において顔面動作単位を最初に用いた人物として,手話の強度を表現するために顔面筋活動が果たす役割について考察する。
提案したモデルが自動生成手話の品質を向上させることを示す一連の実験を行った。
関連論文リスト
- Linguistically Motivated Sign Language Segmentation [51.06873383204105]
個々の記号へのセグメンテーションとフレーズへのセグメンテーションという2種類のセグメンテーションを考える。
本手法は手話コーパスで観察される言語的手がかりによって動機付けられている。
私たちは、主要なIOタグ付けスキームをBIOタグに置き換えて、継続的な署名を可能にします。
論文 参考訳(メタデータ) (2023-10-21T10:09:34Z) - ExpCLIP: Bridging Text and Facial Expressions via Semantic Alignment [5.516575655881858]
本稿では、感情のプロンプトとして自然言語を活用することにより、任意のスタイルの制御を可能にする手法を提案する。
提案手法は,表現力のある表情生成を実現し,所望のスタイルを効果的に伝達する柔軟性を向上する。
論文 参考訳(メタデータ) (2023-08-28T09:35:13Z) - MaskCLIP: Masked Self-Distillation Advances Contrastive Language-Image
Pretraining [138.86293836634323]
MaskCLIPは、新たに提案されたマスク付き自己蒸留をコントラスト言語イメージ事前学習に組み込む。
MaskCLIPは、言語エンコーダの誘導により、線形探索、微調整、ゼロショット性能において優れた結果が得られる。
論文 参考訳(メタデータ) (2022-08-25T17:59:58Z) - Language-Guided Face Animation by Recurrent StyleGAN-based Generator [65.82277526057294]
本研究では,静的顔画像のアニメーション化を目的とした,言語指導型顔画像の新しいタスクについて検討する。
本稿では,言語から一連の意味情報と動作情報を抽出し,学習済みのStyleGANに視覚情報と共に供給し,高品質なフレームを生成するための繰り返し動作生成手法を提案する。
論文 参考訳(メタデータ) (2022-08-11T02:57:30Z) - Emotion Separation and Recognition from a Facial Expression by
Generating the Poker Face with Vision Transformers [57.67586172996843]
静的な顔画像から外乱非依存の感情を分離し認識するための新しいFERモデルであるポーカー・フェイス・ビジョン・トランスフォーマー(PF-ViT)を提案する。
PF-ViTは、ペア画像なしで対応するポーカーフェイスを生成する。
論文 参考訳(メタデータ) (2022-07-22T13:39:06Z) - Explore the Expression: Facial Expression Generation using Auxiliary
Classifier Generative Adversarial Network [0.0]
本稿では,複数の文字識別のための表情の集合を頑健に生成する生成モデルアーキテクチャを提案する。
簡単な表現を組み合わせることで複雑な表現を生成する可能性について検討する。
論文 参考訳(メタデータ) (2022-01-22T14:37:13Z) - AU-Expression Knowledge Constrained Representation Learning for Facial
Expression Recognition [79.8779790682205]
本稿では,auアノテーションを使わずにau表現を学習し,表情認識を容易にするau表現知識制約表現学習(aue-crl)フレームワークを提案する。
課題のある非制御データセットの実験を行い,提案されたフレームワークが現状の手法よりも優れていることを実証する。
論文 参考訳(メタデータ) (2020-12-29T03:42:04Z) - Everybody Sign Now: Translating Spoken Language to Photo Realistic Sign
Language Video [43.45785951443149]
難聴者コミュニティが真に理解できるように、手話自動生成システムは、写真リアリスティックなシグナーを生成する必要がある。
我々は、音声言語から直接写真リアリスティックな連続手話ビデオを生成する最初のSLPモデルSignGANを提案する。
次に、ポーズ条件付き人間の合成モデルを導入し、骨格ポーズシーケンスから写真リアルな手話ビデオを生成する。
論文 参考訳(メタデータ) (2020-11-19T14:31:06Z) - Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。
連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
論文 参考訳(メタデータ) (2020-06-22T13:03:02Z) - Facial Expression Phoenix (FePh): An Annotated Sequenced Dataset for
Facial and Emotion-Specified Expressions in Sign Language [0.32116198597240836]
3000ドル以上の顔画像を含む手話の文脈で, 注釈付き表情データセットを導入する。
現在存在するほとんどの表情データセットとは異なり、FePhは頭ポーズ、向き、動きの異なる半青の顔画像を提供する。
このデータセットに注釈をつけるには、「sad」、「surprise」、「fear」、「angry」、「neutral」、「disgust」、「happy」の7つの基本的な感情の第一、第二、第三のダイアドを考える。
論文 参考訳(メタデータ) (2020-03-03T03:42:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。