論文の概要: Driving Animatronic Robot Facial Expression From Speech

• arxiv url: http://arxiv.org/abs/2403.12670v2
• Date: Thu, 21 Mar 2024 12:14:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 12:50:46.113561
• Title: Driving Animatronic Robot Facial Expression From Speech
• Title（参考訳）: 音声によるアニマトロニクスロボット顔表情の駆動
• Authors: Boren Li, Hang Li, Hangxin Liu,
• Abstract要約: 本稿では,音声からアニマトロニクスロボットの表情を駆動するスキン中心方式を提案する。 提案手法では、リニアブレンドスキンニング(LBS)を中心表現として、エンボディメント設計とモーション合成の革新を導く。 提案手法は、アニマトロニックな顔の音声から、非常にリアルでリアルタイムな表情を生成することができ、自然な相互作用のために、人間の表情を再現するロボットの能力を著しく向上させることができる。
• 参考スコア（独自算出の注目度）: 7.8799497614708605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Animatronic robots aim to enable natural human-robot interaction through lifelike facial expressions. However, generating realistic, speech-synchronized robot expressions is challenging due to the complexities of facial biomechanics and responsive motion synthesis. This paper presents a principled, skinning-centric approach to drive animatronic robot facial expressions from speech. The proposed approach employs linear blend skinning (LBS) as the core representation to guide tightly integrated innovations in embodiment design and motion synthesis. LBS informs the actuation topology, enables human expression retargeting, and allows speech-driven facial motion generation. The proposed approach is capable of generating highly realistic, real-time facial expressions from speech on an animatronic face, significantly advancing robots' ability to replicate nuanced human expressions for natural interaction.
• Abstract（参考訳）: アニマトロニクスロボットは、ライフライクな表情を通して自然な人間とロボットの相互作用を可能にすることを目的としている。 しかし、顔のバイオメカニクスと応答性動作合成の複雑さのため、現実的な音声同期型ロボット表現の生成は困難である。 本稿では,音声からアニマトロニクスロボットの表情を駆動するスキン中心方式を提案する。 提案手法では、リニアブレンドスキンニング(LBS)を中心表現として、エンボディメント設計とモーション合成における密に統合されたイノベーションを導出する。 LBSはアクティベーショントポロジを通知し、人間の表情の再ターゲティングを可能にし、音声による顔の動き生成を可能にする。 提案手法は、アニマトロニックな顔の音声から、非常にリアルでリアルタイムな表情を生成することができ、自然な相互作用のために、人間の表情を再現するロボットの能力を著しく向上させることができる。

関連論文リスト

• EMOTION: Expressive Motion Sequence Generation for Humanoid Robots with In-Context Learning [10.266351600604612]
  本稿では,ヒューマノイドロボットにおける表現型動き列を生成するためのEMOTIONというフレームワークを提案する。 本研究では,EMOTIONが生成する動作の自然性と理解性を比較したオンラインユーザ研究を行い,その人間フィードバックバージョンであるEMOTION++について述べる。
  論文  参考訳（メタデータ） (2024-10-30T17:22:45Z)
• Harmon: Whole-Body Motion Generation of Humanoid Robots from Language Descriptions [31.134450087838673]
  この研究は、言語記述からヒューマノイドロボットのための多様な全身運動を生成することに焦点を当てている。 我々は、人体の動きを初期化するために、広範囲な人体の動きデータセットから人体の動きの先行を活用できる。 提案手法は, 自然な, 表現的, テキストに沿ったヒューマノイド運動を生成できることを実証する。
  論文  参考訳（メタデータ） (2024-10-16T17:48:50Z)
• DEEPTalk: Dynamic Emotion Embedding for Probabilistic Speech-Driven 3D Face Animation [14.07086606183356]
  音声駆動の3D顔アニメーションは、幅広い応用によって多くの注目を集めている。 現在の方法では、音声を通して伝達されるニュアンスな感情のアンダートーンを捉えることができず、単調な顔の動きを生成する。 音声入力から直接多様で感情的に豊かな表情を生成する新しいアプローチであるDEEPTalkを紹介する。
  論文  参考訳（メタデータ） (2024-08-12T08:56:49Z)
• CSTalk: Correlation Supervised Speech-driven 3D Emotional Facial Animation Generation [13.27632316528572]
  音声駆動の3D顔アニメーション技術は長年開発されてきたが、実用的応用には期待できない。 主な課題は、データ制限、唇のアライメント、表情の自然さである。 本稿では,顔の動きの異なる領域間の相関をモデル化し,生成モデルの訓練を監督し,現実的な表現を生成するCSTalkという手法を提案する。
  論文  参考訳（メタデータ） (2024-04-29T11:19:15Z)
• DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with Diffusion [68.85904927374165]
  拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。 拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。 最先端の手法よりもリアルな顔アニメーションを同時に実現します。
  論文  参考訳（メタデータ） (2023-08-23T04:14:55Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Audio-Driven Talking Face Generation with Diverse yet Realistic Facial Animations [61.65012981435094]
  DIRFAは、異なるが現実的な顔のアニメーションを同一の駆動音声から生成できる新しい方法である。 同一音声に対して妥当な顔のアニメーションの変動に対応するため,トランスフォーマーに基づく確率的マッピングネットワークを設計する。 DIRFAは現実的な顔のアニメーションを効果的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-04-18T12:36:15Z)
• Data-driven emotional body language generation for social robotics [58.88028813371423]
  社会ロボティクスでは、人間型ロボットに感情の身体的表現を生成する能力を与えることで、人間とロボットの相互作用とコラボレーションを改善することができる。 我々は、手作業で設計されたいくつかの身体表現から学習する深層学習データ駆動フレームワークを実装した。 評価実験の結果, 生成した表現の人間同型とアニマシーは手作りの表現と異なる認識が得られなかった。
  論文  参考訳（メタデータ） (2022-05-02T09:21:39Z)
• Synthesis and Execution of Communicative Robotic Movements with Generative Adversarial Networks [59.098560311521034]
  我々は、繊細な物体を操作する際に人間が採用するのと同じキネマティクス変調を2つの異なるロボットプラットフォームに転送する方法に焦点を当てる。 我々は、ロボットのエンドエフェクターが採用する速度プロファイルを、異なる特徴を持つ物体を輸送する際に人間が何をするかに触発されて調整する。 我々は、人体キネマティクスの例を用いて訓練され、それらを一般化し、新しい有意義な速度プロファイルを生成する、新しいジェネレーティブ・アドバイサル・ネットワークアーキテクチャを利用する。
  論文  参考訳（メタデータ） (2022-03-29T15:03:05Z)
• Smile Like You Mean It: Driving Animatronic Robotic Face with Learned Models [11.925808365657936]
  人間のような社会ロボットを構築するには、知的で一般化可能な表情を生成する能力が不可欠である。 顔模倣のための視覚に基づく自己教師型学習フレームワークを開発した。 本手法は, 多様な被験者に対して, 正確かつ多様な顔の模倣を可能にする。
  論文  参考訳（メタデータ） (2021-05-26T17:57:19Z)
• Self-supervised reinforcement learning for speaker localisation with the iCub humanoid robot [58.2026611111328]
  人の顔を見ることは、ノイズの多い環境での音声のフィルタリングに人間が依存するメカニズムの1つである。 スピーカーに目を向けるロボットを持つことは、挑戦的な環境でのASRのパフォーマンスに恩恵をもたらす可能性がある。 本稿では,人間の初期発達に触発された自己指導型強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-12T18:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。