論文の概要: Co-Speech with You: Training-Free Personalization of Robot Co-Speech Gestures
- arxiv url: http://arxiv.org/abs/2609.13876v1
- Date: Sat, 12 Sep 2026 11:02:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.5976
- Title: Co-Speech with You: Training-Free Personalization of Robot Co-Speech Gestures
- Title（参考訳）: あなたとの共音声:ロボット共音声ジェスチャーの学習自由パーソナライズ
- Abstract要約: 個人ロボットは、モデルの再訓練を必要とせず、新しいユーザに対して、共同音声ジェスチャースタイルを適用する必要がある。
本研究では、凍結した音声条件の拡散とジェスチャースタイルのエンコーダを併用した、学習不要なパーソナライズパイプラインを提案する。
SRA(Style Recognition Accuracy)とFrechet Gesture Distance(FGD)を用いてホールドアウト話者システムの評価を行い、パーソナライズと動きの質を測定した。
- 参考スコア（独自算出の注目度）: 0.8555238739527985
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personal robots should adapt their co-speech gesture style to a new user without requiring model retraining. We present a training-free personalization pipeline that combines a frozen audio-conditioned diffusion prior with a gesture style encoder and lightweight conditioning adapters. The encoder is first trained to discriminate speaker identities and then jointly refined with the adapters using the diffusion objective, enabling a reusable style embedding to be extracted from approximately 10 seconds of enrollment motion through a single forward pass. To support this setting, we also release a Quest~3 capture application and a dataset of spontaneous co-speech motion from ten participants. We evaluate the system on held-out speakers using Style Recognition Accuracy (SRA) and Fr'echet Gesture Distance (FGD) to measure personalization and motion quality. Our approach improves SRA from 27.6\% for the frozen prior to 69.5\% while preserving motion quality (FGD 34.2 versus 34.8), and replacing the enrollment embedding with another person's reduces SRA to 11.4\%. The generated gestures are retargeted to a physical NAO robot, and this improvement also transfers to the robot deployment setting, where speech is synthesized using five TTS voices, retaining 67.3\% SRA.
- Abstract（参考訳）: 個人ロボットは、モデルの再訓練を必要とせず、新しいユーザに対して、共同音声ジェスチャースタイルを適用する必要がある。
本稿では,凍結した音声条件の拡散とジェスチャースタイルのエンコーダと軽量なコンディショニングアダプタを併用した,学習不要なパーソナライゼーションパイプラインを提案する。
エンコーダは、まず、話者のアイデンティティを識別し、拡散目標を用いてアダプタと共同で洗練するように訓練され、単一のフォワードパスを介して、約10秒の登録動作から再利用可能なスタイル埋め込みを抽出することができる。
この設定をサポートするために、Quest~3キャプチャアプリケーションと、10人の参加者による自発的な音声合成動作のデータセットもリリースする。
スタイル認識精度 (SRA) とFr'echet Gesture Distance (FGD) を用いたホールドアウト話者システムの評価を行い、パーソナライズと動きの質を測定した。
動作品質(FGD 34.2 対 34.8 対 34.8 対)を保ちながら、69.5 % よりも先に凍結した状態での SRA を 27.6 % に改善し、他の人のSRA を 11.4 % に置き換える。
生成されたジェスチャーは、物理的なNAOロボットに再ターゲティングされ、この改善は、音声を5つのTS音声で合成し、67.3\%のSRAを保持するロボット展開設定にも転送される。
関連論文リスト
- Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue [30.587755818246052]
音声対話モデルは音声を無声で生成し、音声のみから音声を合成する。
我々は,手,上半身,下半身の動作とともに,音声対話モデルによって明示的な表情を出力する,エンドツーエンドのフレームワークであるMotion-Omniを提案する。
我々はさらにSwwenDA-500をリリースし、我々の知る限り、オープンエンドフルボディ音声対話のための最初の公開評価プロトコルについて述べる。
論文 参考訳（メタデータ） (2026-08-28T21:02:39Z) - The Talking Robot: Distortion-Robust Acoustic Models for Robot-Robot Communication [6.356219992638542]
Artooは、ロボットのための学習された音響通信システムである。
ハンドデザインの信号処理をエンドツーエンドのコトレーニングニューラルネットワークに置き換える。
論文 参考訳（メタデータ） (2026-03-07T07:06:41Z) - Human-Centered Editable Speech-to-Sign-Language Generation via Streaming Conformer-Transformer and Resampling Hook [0.0]
既存のエンドツーエンドの手話アニメーションシステムは、自然度が低く、顔/身体の表現性が制限され、ユーザ制御ができない。
本稿では,人間中心のリアルタイム音声署名アニメーションフレームワークを提案する。
Unity3D上にデプロイされたシステムでは,13msのフレームイン時間と103msのレイテンシを実現している。
論文 参考訳（メタデータ） (2025-06-17T16:08:48Z) - Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation [71.31331402404662]
本稿では, 変形性関節症と高齢者の話者レベルの特徴を学習するための2つの新しいデータ効率手法を提案する。
話者規則化スペクトルベース埋め込み-SBE特徴は、特別な正規化項を利用して適応における話者特徴の均一性を強制する。
テスト時間適応において、話者レベルのデータ量に敏感であることが示されるVR-LH機能に規定されている特徴ベースの学習隠れユニットコントリビューション(f-LHUC)。
論文 参考訳（メタデータ） (2024-07-08T18:20:24Z) - Towards Evaluating the Robustness of Automatic Speech Recognition Systems via Audio Style Transfer [8.948537516293328]
本稿では,ユーザ認識スタイルの転送に基づく自動音声認識(ASR)システムに対する攻撃を提案する。
提案手法は,ユーザカスタマイズスタイルの必要性を満たすとともに,攻撃の82%の成功率を達成することができる。
論文 参考訳（メタデータ） (2024-05-15T16:05:24Z) - From English to More Languages: Parameter-Efficient Model Reprogramming
for Cross-Lingual Speech Recognition [50.93943755401025]
言語間音声認識のためのニューラルモデル再プログラミングに基づく新しいパラメータ効率学習フレームワークを提案する。
我々は、学習可能な事前学習機能強化に焦点を当てた、異なる補助的ニューラルネットワークアーキテクチャを設計する。
提案手法は,既存のASRチューニングアーキテクチャとその拡張性能を自己監督的損失で向上させる。
論文 参考訳（メタデータ） (2023-01-19T02:37:56Z) - Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging
Features For Elderly And Dysarthric Speech Recognition [55.25565305101314]
調音機能は音響信号歪みに不変であり、音声認識システムにうまく組み込まれている。
本稿では,A2Aモデルにおける24時間TaLコーパスの並列音声・超音波舌画像(UTI)データを利用したクロスドメインおよびクロスランガルA2Aインバージョン手法を提案する。
生成した調音機能を組み込んだ3つのタスクの実験は、ベースラインのTDNNとコンフォーマーASRシステムより一貫して優れていた。
論文 参考訳（メタデータ） (2022-06-15T07:20:28Z) - Speech2AffectiveGestures: Synthesizing Co-Speech Gestures with Generative Adversarial Affective Expression Learning [52.73083137245969]
そこで本稿では, 感情表現を適切に表現し, 3次元ポーズを合成する生成的対人ネットワークを提案する。
本ネットワークは,入力音声とシードポーズから符号化された特徴の組込み空間からジェスチャを合成するジェネレータと,合成されたポーズシーケンスと実3Dポーズシーケンスを識別する識別器とから構成される。
論文 参考訳（メタデータ） (2021-07-31T15:13:39Z) - Advanced Long-context End-to-end Speech Recognition Using
Context-expanded Transformers [56.56220390953412]
コンフォーメータアーキテクチャを導入することで、精度をさらに向上させ、以前の作業を拡張します。
拡張トランスフォーマーは、最先端のエンドツーエンドのASR性能を提供する。
論文 参考訳（メタデータ） (2021-04-19T16:18:00Z) - A Method to Reveal Speaker Identity in Distributed ASR Training, and How
to Counter It [3.18475216176047]
学習発話の話者の同一性を明らかにするための第1の手法を,勾配のみへのアクセスで設計する。
我々は、LibriSpeechデータセット上で34%のトップ1精度(51%のトップ5精度)で話者の身元を明らかにすることができることを示した。
論文 参考訳（メタデータ） (2021-04-15T23:15:12Z) - Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource
End-to-End Speech Recognition [62.94773371761236]
我々は、OOVレートの高い低リソースセットアップで効果的なエンドツーエンドASRシステムを構築することを検討します。
本稿では,BPE-dropout法に基づく動的音響ユニット拡張法を提案する。
我々の単言語トルココンフォーマーは22.2%の文字誤り率(CER)と38.9%の単語誤り率(WER)の競争結果を確立した。
論文 参考訳（メタデータ） (2021-03-12T10:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。