論文の概要: Enhancing Portuguese Sign Language Animation with Dynamic Timing and
Mouthing
- arxiv url: http://arxiv.org/abs/2307.06124v1
- Date: Wed, 12 Jul 2023 12:25:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 13:11:42.890863
- Title: Enhancing Portuguese Sign Language Animation with Dynamic Timing and
Mouthing
- Title(参考訳): 動的タイミングとマウスによるポルトガル語手話アニメーションの強化
- Authors: In\^es Lacerda, Hugo Nicolau and Luisa Coheur
- Abstract要約: 本稿では,ポルトガル語手話の口調アニメーションに着目し,手話間の遷移を動的に表現する手法を提案する。
ネイティブシグナーは動的遷移を伴うアニメーションを好んだが、理解率と知覚自然度スコアに有意な差は見つからなかった。
結果は、計算言語学、人間とコンピュータの相互作用、および署名アバターの合成アニメーションに影響を及ぼす。
- 参考スコア(独自算出の注目度): 4.077612575801748
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Current signing avatars are often described as unnatural as they cannot
accurately reproduce all the subtleties of synchronized body behaviors of a
human signer. In this paper, we propose a new dynamic approach for transitions
between signs, focusing on mouthing animations for Portuguese Sign Language.
Although native signers preferred animations with dynamic transitions, we did
not find significant differences in comprehension and perceived naturalness
scores. On the other hand, we show that including mouthing behaviors improved
comprehension and perceived naturalness for novice sign language learners.
Results have implications in computational linguistics, human-computer
interaction, and synthetic animation of signing avatars.
- Abstract(参考訳): 現在の署名アバターは、人間の署名者の同期した身体行動の全ての微妙な部分を正確に再現できないため、しばしば不自然と表現される。
本稿では,ポルトガル語手話の口調アニメーションに焦点をあてて,記号間の遷移に対する動的アプローチを提案する。
ネイティブシグナーは動的遷移を伴うアニメーションを好んだが,理解度や自然性スコアに有意な差は認められなかった。
一方,先駆的な手話学習者の理解と自然性は,口頭行動を含むことによって改善した。
結果は、計算言語学、人間とコンピュータの相互作用、および署名アバターの合成アニメーションに影響を及ぼす。
関連論文リスト
- When Language Models Fall in Love: Animacy Processing in Transformer
Language Models [38.79717627047192]
我々は,トランスフォーマー言語モデル (LM) が,アニマシーが典型的である実体を提示するとき,人間のように振る舞うことを示す。
また、愛のピーナッツのような非典型的なアニメーターの物語を提示しても、LMは適応することを示した。
我々は、LMがアニマシーについて学べる限られた信号にもかかわらず、それらが実際に英語で利用可能な関連する語彙的意味ニュアンスに敏感である、と結論付けた。
論文 参考訳(メタデータ) (2023-10-23T14:57:52Z) - Visual Response to Emotional State of User Interaction [0.0]
Mood spRingは、シーズンの没入型3Dアニメーションを制御するAIプログラムで構成されている。
もしAIプログラムがユーザーの言語とトーンを心地よいと認識すれば、アニメーションは季節の理想化された修正を通じて進行する。
論文 参考訳(メタデータ) (2023-03-27T20:23:18Z) - Synthesizing Physical Character-Scene Interactions [64.26035523518846]
仮想キャラクタとその周辺環境間のこのような相互作用を合成する必要がある。
本稿では,逆模倣学習と強化学習を用いて物理シミュレーション文字を学習するシステムを提案する。
我々のアプローチは、物理学に基づくキャラクターモーション生成を広い適用性に一歩近づいた。
論文 参考訳(メタデータ) (2023-02-02T05:21:32Z) - Language-Guided Face Animation by Recurrent StyleGAN-based Generator [65.82277526057294]
本研究では,静的顔画像のアニメーション化を目的とした,言語指導型顔画像の新しいタスクについて検討する。
本稿では,言語から一連の意味情報と動作情報を抽出し,学習済みのStyleGANに視覚情報と共に供給し,高品質なフレームを生成するための繰り返し動作生成手法を提案する。
論文 参考訳(メタデータ) (2022-08-11T02:57:30Z) - Triangular Character Animation Sampling with Motion, Emotion, and
Relation [78.80083186208712]
本稿では,キャラクターの身体の動き,表情,社会的関係を関連づけることで,アニメーションのサンプリングと合成を行う新しい枠組みを提案する。
本手法は,3次元キャラクタアニメーションの自動生成,非プレーヤキャラクタ(NPC)間のインタラクションの合成,バーチャルリアリティ(VR)におけるマシン感情インテリジェンスの向上を支援するアニメーターを提供する。
論文 参考訳(メタデータ) (2022-03-09T18:19:03Z) - Including Facial Expressions in Contextual Embeddings for Sign Language
Generation [11.794563225903813]
我々は,手話生成システムの性能に及ぼすテキスト,光沢,表情の関係をモデル化する効果について検討した。
本研究は,手話生成において顔面動作単位を最初に用いた人物として,手話の強度を表現するために顔面筋活動が果たす役割について考察する。
論文 参考訳(メタデータ) (2022-02-11T00:47:22Z) - Mixed SIGNals: Sign Language Production via a Mixture of Motion
Primitives [37.679114155300084]
アバターをベースとした手話生成(SLP)は伝統的に、手の動きのシーケンスと表情のアニメーションを構築してきた。
我々はSLPタスクを2つの異なる訓練されたサブタスクに分割することを提案する。
最初の翻訳サブタスクは音声言語から潜在手話表現に翻訳され、光沢を監督する。
アニメーションのサブタスクは、学習した手話表現によく似た表現的な手話列を生成することを目的としている。
論文 参考訳(メタデータ) (2021-07-23T15:53:11Z) - Passing a Non-verbal Turing Test: Evaluating Gesture Animations
Generated from Speech [6.445605125467574]
本稿では,音声から直接ジェスチャーを生成する新しいデータ駆動手法を提案する。
本手法は,音声とジェスチャーの因果関係をモデル化するためのGAN(Generative Adversarial Neural Networks)の適用に基づく。
本研究では,仮想キャラクタ上で生成されたジェスチャをアニメーション化し,ユーザが生成したジェスチャと記録したジェスチャを区別できないことを示す。
論文 参考訳(メタデータ) (2021-07-01T19:38:43Z) - Episodic Transformer for Vision-and-Language Navigation [142.6236659368177]
本稿では,長時間のサブタスク処理と複雑なヒューマンインストラクションの理解という2つの課題に取り組むことに焦点を当てる。
エピソード変換器(E.T.)を提案する。
言語入力と視覚観察と行動の全エピソード履歴を符号化するマルチモーダルトランスフォーマーである。
我々のアプローチは、挑戦的なALFREDベンチマークに新たな技術状況を設定し、見つからないテストの分割で38.4%と8.5%のタスク成功率を達成した。
論文 参考訳(メタデータ) (2021-05-13T17:51:46Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳(メタデータ) (2021-03-16T03:38:17Z) - Sign Language Transformers: Joint End-to-end Sign Language Recognition
and Translation [59.38247587308604]
本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。
RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。
我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
論文 参考訳(メタデータ) (2020-03-30T21:35:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。