論文の概要: SocialHumanoid: Towards Expressive Humanoid Behavior via One-Step Co-Speech Motion Generation
- arxiv url: http://arxiv.org/abs/2609.33311v1
- Date: Sun, 27 Sep 2026 07:24:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 01:17:42.256592
- Title: SocialHumanoid: Towards Expressive Humanoid Behavior via One-Step Co-Speech Motion Generation
- Title（参考訳）: SocialHumanoid: ワンステップコ音声運動生成による表現的ヒューマノイド行動
- Abstract要約: ソーシャルヒューマノイド(SocialHumanoid)は、一段階の音声合成による人型行動を表現するシステムである。
シングルフォワードパスで各フルボディのモーションウインドウを生成し、モーション・ヒストリー・コンディショニングを通じて連続したウインドウを接続する。
生成された人間の動きは、さらにオンラインでエンボディ互換のロボット参照に変換され、身体的実行のための全身コントローラによって追跡される。
- 参考スコア（独自算出の注目度）: 42.12237975843325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humanoid robots are increasingly expected to serve as embodied social agents that communicate naturally with humans through face-to-face interaction. During such communication, humanoid robots require body behaviors that are synchronized with speech, affectively expressive, and suitable for real-time execution. However, existing co-speech methods are primarily developed for digital humans and lack joint support for affective control and low-latency continuous generation on physical embodiments. To bridge this gap, we present SocialHumanoid, a system for expressive humanoid behavior via one-step co-speech motion generation. Given response speech and a specified affective condition, SocialHumanoid generates each full-body motion window in a single forward pass and connects successive windows through motion-history conditioning. The generated human motion is further converted online into embodiment-compatible robot references and tracked by a whole-body controller for physical execution. To provide explicit supervision for affective body expression, we further introduce AffectMoCap, a 4-hour dataset captured from two professional actors, containing synchronized speech, body motion, fine-grained hand motion, and emotion annotations. On BEAT2, SocialHumanoid achieves the best FGD among the compared generation methods, competitive speech-motion synchrony, and approximately $6\times$ faster inference than GestureLSM under the same protocol. Perceptual evaluations further show that training with AffectMoCap improves affect recognition from generated body motion, while real-robot experiments demonstrate continuous affect-conditioned behavior and stable long-horizon execution. Our project page is https://rex0191.github.io/SocialHumanoid/.
- Abstract（参考訳）: ヒューマノイドロボットは、対面インタラクションを通じて人間と自然にコミュニケーションするエンボディ化されたソーシャルエージェントとして機能することがますます期待されている。
このようなコミュニケーションの間、ヒューマノイドロボットは、音声と同期し、感情的に表現し、リアルタイム実行に適した身体行動を必要とする。
しかし、既存の音声合成法は主にデジタル人間向けに開発されており、感情制御と低遅延連続生成のためのジョイントサポートが欠如している。
このギャップを埋めるために,一段階の音声合成によるヒューマノイド行動表現システムSocialHumanoidを提案する。
応答音声と特定の感情条件が与えられた場合、SocialHumanoidは1つのフォワードパスで各フルボディのモーションウィンドウを生成し、モーション履歴条件によって連続したウィンドウを接続する。
生成された人間の動きは、さらにオンラインでエンボディ互換のロボット参照に変換され、身体的実行のための全身コントローラによって追跡される。
さらに,2人のプロアクターから取得した4時間のデータセットであるAffectMoCapを紹介する。
BEAT2では、SocialHumanoidは、比較した生成方法、競合する音声-モーション同期、および同じプロトコル下でのGestureLSMよりも約6\times$高速推論の中で最高のFGDを達成している。
さらに知覚的評価では、AffectMoCapによるトレーニングは、生成した身体の動きからの影響認識を改善する一方、実ロボット実験は、連続的な影響条件付き行動と安定した長距離実行を示す。
私たちのプロジェクトページはhttps://rex0191.github.io/SocialHumanoid/です。
関連論文リスト
- GAE: General Action Expert for Real-Time Humanoid Teleoperation [30.906376896948203]
General Action Expert (GAE) は、汎用的で低遅延のヒューマノイド全体遠隔操作のための統合学習フレームワークである。
GAEはビデオ、アニメーション、モーションキャプチャを含む異種ソースから大規模な人間のモーションデータセットを構築し、続いて標準化と拡張を行う。
応答性のあるヒューマンロボット同期のために、GAEはリアルタイム遠隔操作中にエンドツーエンドの遅延を適応的に補償する遅延条件予測機構を導入した。
論文 参考訳（メタデータ） (2026-09-28T03:39:03Z) - MIRA: Real-Time Full-Duplex Human-Robot Interaction for Embodied Companions [27.12492233362043]
リアルタイムエンボディード・コンパニオン・インタラクションでは、ストリーミング音声からのユーザ意図をロボットがタイムリーな応答を生成する必要がある。
リアルタイム・フルタイム・エンボディ・アソシエイト・インタラクションのための統合フレームワークを提案する。
MIRAはAstribot S1のヒューマノイドロボット評価にデプロイされる。
論文 参考訳（メタデータ） (2026-09-21T13:14:53Z) - PhysDrift: Bridging the Embodiment Gap in Humanoid Co-Speech Motion Generation [31.168201029670865]
本稿では,人体表現に頼らずに音声からヒューマノイド関節軌跡を推定する,エンボディメントを意識した協調音声運動フレームワークであるPhysDriftを紹介する。
実験と実世界のヒューマノイド配置により、エンボディメントを意識したロボットネイティブ生成は、音声と運動のアライメント、身体的可視性、運動の滑らかさ、推論効率、リアルタイム相互作用能力を大幅に改善することを示した。
論文 参考訳（メタデータ） (2026-06-18T08:31:58Z) - MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。
既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。
MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
論文 参考訳（メタデータ） (2026-03-03T18:59:51Z) - FRoM-W1: Towards General Humanoid Whole-Body Control with Language Instructions [147.04372611893032]
FRoM-W1は、自然言語を用いた一般的なヒューマノイド全体の動作制御を実現するために設計されたオープンソースのフレームワークである。
我々はUnitree H1とG1ロボット上でFRoM-W1を広範囲に評価した。
その結果,HumanML3D-Xベンチマークにおいて,人体全体の動作生成に優れた性能を示した。
論文 参考訳（メタデータ） (2026-01-19T07:59:32Z) - Commanding Humanoid by Free-form Language: A Large Language Action Model with Unified Motion Vocabulary [59.98573566227095]
本稿では,Humanoid-LLAについて紹介する。Humanoid-LLAは,表現型言語コマンドを人型ロボットの身体的実行可能な全身動作にマッピングする,大規模言語行動モデルである。
提案手法は,人間とヒューマノイドの運動プリミティブを共有された離散空間に整合させる統一運動語彙,物理的実現性を確保するための特権ポリシーから抽出した語彙指向コントローラ,動的に認識された報酬を用いた強化学習を用いた物理インフォームド微調整ステージの3つのコアコンポーネントを統合する。
論文 参考訳（メタデータ） (2025-11-28T08:11:24Z) - From Language to Locomotion: Retargeting-free Humanoid Control via Motion Latent Guidance [55.31807046722006]
既存の言語誘導型ヒューマノイドパイプラインは面倒で信頼できない。
本稿では,言語を基盤とした動作潜伏者に対してヒューマノイドポリシーを規定する言語フリーフレームワークであるRoboGhostを紹介する。
我々は,RoboGhostがデプロイメントの遅延を大幅に低減し,成功率と精度を向上し,スムーズでセマンティックに整合したヒューマノイドを生成することを示す。
論文 参考訳（メタデータ） (2025-10-16T17:57:47Z) - EMOTION: Expressive Motion Sequence Generation for Humanoid Robots with In-Context Learning [10.266351600604612]
本稿では,ヒューマノイドロボットにおける表現型動き列を生成するためのEMOTIONというフレームワークを提案する。
本研究では,EMOTIONが生成する動作の自然性と理解性を比較したオンラインユーザ研究を行い,その人間フィードバックバージョンであるEMOTION++について述べる。
論文 参考訳（メタデータ） (2024-10-30T17:22:45Z) - Robot Interaction Behavior Generation based on Social Motion Forecasting for Human-Robot Interaction [9.806227900768926]
本稿では,共有ロボット表現空間における社会的動き予測のモデル化を提案する。
ECHOは上記の共有空間で活動し、社会的シナリオで遭遇したエージェントの将来の動きを予測する。
我々は,多対人動作予測タスクにおけるモデルの評価を行い,最先端の性能を大きなマージンで獲得する。
論文 参考訳（メタデータ） (2024-02-07T11:37:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。