Fugu-MT 論文翻訳(概要): Enhancing Portuguese Sign Language Animation with Dynamic Timing and Mouthing

論文の概要: Enhancing Portuguese Sign Language Animation with Dynamic Timing and Mouthing

arxiv url: http://arxiv.org/abs/2307.06124v1
Date: Wed, 12 Jul 2023 12:25:03 GMT
ステータス: 処理完了
システム内更新日: 2023-07-13 13:11:42.890863
Title: Enhancing Portuguese Sign Language Animation with Dynamic Timing and Mouthing
Title（参考訳）: 動的タイミングとマウスによるポルトガル語手話アニメーションの強化
Authors: In\^es Lacerda, Hugo Nicolau and Luisa Coheur
Abstract要約: 本稿では,ポルトガル語手話の口調アニメーションに着目し,手話間の遷移を動的に表現する手法を提案する。ネイティブシグナーは動的遷移を伴うアニメーションを好んだが、理解率と知覚自然度スコアに有意な差は見つからなかった。結果は、計算言語学、人間とコンピュータの相互作用、および署名アバターの合成アニメーションに影響を及ぼす。
参考スコア（独自算出の注目度）: 4.077612575801748
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Current signing avatars are often described as unnatural as they cannot accurately reproduce all the subtleties of synchronized body behaviors of a human signer. In this paper, we propose a new dynamic approach for transitions between signs, focusing on mouthing animations for Portuguese Sign Language. Although native signers preferred animations with dynamic transitions, we did not find significant differences in comprehension and perceived naturalness scores. On the other hand, we show that including mouthing behaviors improved comprehension and perceived naturalness for novice sign language learners. Results have implications in computational linguistics, human-computer interaction, and synthetic animation of signing avatars.
Abstract（参考訳）: 現在の署名アバターは、人間の署名者の同期した身体行動の全ての微妙な部分を正確に再現できないため、しばしば不自然と表現される。本稿では,ポルトガル語手話の口調アニメーションに焦点をあてて,記号間の遷移に対する動的アプローチを提案する。ネイティブシグナーは動的遷移を伴うアニメーションを好んだが,理解度や自然性スコアに有意な差は認められなかった。一方,先駆的な手話学習者の理解と自然性は,口頭行動を含むことによって改善した。結果は、計算言語学、人間とコンピュータの相互作用、および署名アバターの合成アニメーションに影響を及ぼす。

関連論文リスト

EvSign: Sign Language Recognition and Translation with Streaming Events [59.51655336911345]
イベントカメラは、動的手の動きを自然に知覚し、手話作業のための豊富な手作業の手がかりを提供する。イベントベースSLRおよびSLTタスクのための効率的なトランスフォーマーベースフレームワークを提案する。計算コストは0.34%に過ぎず,既存の最先端手法に対して良好に機能する。
論文参考訳（メタデータ） (2024-07-17T14:16:35Z)
SignMusketeers: An Efficient Multi-Stream Approach for Sign Language Translation at Scale [22.49602248323602]
手話ビデオ処理における永続的な課題は、手話表現の学習方法である。提案手法は,シグナーの顔,手,体姿勢など,署名ビデオの最も関連性の高い部分のみに焦点を当てる。我々のアプローチは、個々のフレームから(ビデオシーケンスではなく)学習することに基づいており、手話事前学習よりもずっと効率的である。
論文参考訳（メタデータ） (2024-06-11T03:00:41Z)
AniTalker: Animate Vivid and Diverse Talking Faces through Identity-Decoupled Facial Motion Encoding [24.486705010561067]
AniTalkerは、1つのポートレートから、生き生きとした話し顔を生成するために設計されたフレームワークである。 AniTalkerは、微妙な表情や頭の動きを含む、幅広い顔のダイナミクスを効果的にキャプチャする。
論文参考訳（メタデータ） (2024-05-06T02:32:41Z)
Dynamic Typography: Bringing Text to Life via Video Diffusion Prior [73.72522617586593]
動的タイポグラフィー(Dynamic Typography)と呼ばれる自動テキストアニメーション方式を提案する。意味的意味を伝えるために文字を変形させ、ユーザプロンプトに基づいて活気ある動きを注入する。本手法は,ベクトルグラフィックス表現とエンドツーエンド最適化に基づくフレームワークを利用する。
論文参考訳（メタデータ） (2024-04-17T17:59:55Z)
When Language Models Fall in Love: Animacy Processing in Transformer Language Models [38.79717627047192]
我々は,トランスフォーマー言語モデル (LM) が,アニマシーが典型的である実体を提示するとき,人間のように振る舞うことを示す。また、愛のピーナッツのような非典型的なアニメーターの物語を提示しても、LMは適応することを示した。我々は、LMがアニマシーについて学べる限られた信号にもかかわらず、それらが実際に英語で利用可能な関連する語彙的意味ニュアンスに敏感である、と結論付けた。
論文参考訳（メタデータ） (2023-10-23T14:57:52Z)
Language-Guided Face Animation by Recurrent StyleGAN-based Generator [87.56260982475564]
本研究では,静的顔画像のアニメーション化を目的とした,言語指導型顔画像の新しいタスクについて検討する。本稿では,言語から一連の意味情報と動作情報を抽出し,学習済みのStyleGANに視覚情報と共に供給し,高品質なフレームを生成するための繰り返し動作生成手法を提案する。
論文参考訳（メタデータ） (2022-08-11T02:57:30Z)
Triangular Character Animation Sampling with Motion, Emotion, and Relation [78.80083186208712]
本稿では,キャラクターの身体の動き,表情,社会的関係を関連づけることで,アニメーションのサンプリングと合成を行う新しい枠組みを提案する。本手法は,3次元キャラクタアニメーションの自動生成,非プレーヤキャラクタ(NPC)間のインタラクションの合成,バーチャルリアリティ(VR)におけるマシン感情インテリジェンスの向上を支援するアニメーターを提供する。
論文参考訳（メタデータ） (2022-03-09T18:19:03Z)
Including Facial Expressions in Contextual Embeddings for Sign Language Generation [11.794563225903813]
我々は,手話生成システムの性能に及ぼすテキスト,光沢,表情の関係をモデル化する効果について検討した。本研究は,手話生成において顔面動作単位を最初に用いた人物として,手話の強度を表現するために顔面筋活動が果たす役割について考察する。
論文参考訳（メタデータ） (2022-02-11T00:47:22Z)
Mixed SIGNals: Sign Language Production via a Mixture of Motion Primitives [37.679114155300084]
アバターをベースとした手話生成(SLP)は伝統的に、手の動きのシーケンスと表情のアニメーションを構築してきた。我々はSLPタスクを2つの異なる訓練されたサブタスクに分割することを提案する。最初の翻訳サブタスクは音声言語から潜在手話表現に翻訳され、光沢を監督する。アニメーションのサブタスクは、学習した手話表現によく似た表現的な手話列を生成することを目的としている。
論文参考訳（メタデータ） (2021-07-23T15:53:11Z)
Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文参考訳（メタデータ） (2021-03-16T03:38:17Z)
Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation [59.38247587308604]
本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。 RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
論文参考訳（メタデータ） (2020-03-30T21:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。