論文の概要: ECHO-G: Embodied Co-speech Humanoid mOtion Generation

• arxiv url: http://arxiv.org/abs/2609.39575v1
• Date: Wed, 30 Sep 2026 12:08:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.662945
• Title: ECHO-G: Embodied Co-speech Humanoid mOtion Generation
• Title（参考訳）: ECHO-G:Embodied Co-Speech Humanoid mOtion Generation
• Abstract要約: ECHO-G(ECHO-G)は、音声音声とタイムスクリプティングを併用したフレームワークである。 Speech-Grounded Diffusion Transformer (SGDiT)は、フレーム整列音響特徴とトークン言語コンテキストを組み合わせる。 ロボット空間において、一対多の発話-運動関係を直接モデル化する。
• 参考スコア（独自算出の注目度）: 30.091920724709308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating full-body co-speech motion for humanoid robots requires coordinating speech prosody, linguistic content, and embodiment-specific motion. To this end, we present ECHO-G, a framework jointly conditioned on speech audio and timed transcripts. Its Speech-Grounded Diffusion Transformer (SGDiT) combines frame-aligned acoustic features with token-level linguistic context, preserving their distinct granularities. Trained with rectified flow matching, it models one-to-many utterance-motion relationships directly in robot space. To support training and evaluation, we introduce a BEAT2-derived audio-text-robot dataset and a benchmark covering co-speech characteristics, robot-motion quality, and runtime efficiency. Comparative evaluation supports direct robot-space generation over the evaluated human-motion generation and retargeting pipelines, while modality ablations highlight the benefits of joint audio-text conditioning. We further demonstrate deployment on a physical humanoid robot. A complementary video-rating study also favors joint conditioning over the alternatives. The dataset and training, inference, and evaluation code are available through our project page.
• Abstract（参考訳）: ヒューマノイドロボットのための全体共同音声動作の生成には、音声韻律、言語内容、エンボディメント固有の動作の調整が必要である。 そこで本研究では,音声と時刻の書き起こしを併用したフレームワークECHO-Gを提案する。 そのSGDiT(Speech-Grounded Diffusion Transformer)は、フレーム整列音響特徴とトークンレベルの言語コンテキストを組み合わせることで、個々の粒度を保存している。 修正されたフローマッチングでトレーニングされたこのモデルは、ロボット空間内での1対多の発話-モーション関係を直接モデル化する。 訓練と評価を支援するため,BEAT2から派生した音声テキストロボットデータセットと,音声特性,ロボットの動作品質,実行時の効率を網羅したベンチマークを導入する。 比較評価は、評価された人間の動きの生成と再ターゲットパイプラインに対するロボット空間の直接生成をサポートし、一方、モダリティ改善は、共同音声テキストコンディショニングの利点を強調している。 さらに、物理的なヒューマノイドロボットへの展開を実演する。 相補的なビデオレーティングの研究は、代替品よりもジョイントコンディショニングを好んでいる。 データセットとトレーニング、推論、評価コードは、プロジェクトページから入手可能です。

関連論文リスト

• MIRA: Real-Time Full-Duplex Human-Robot Interaction for Embodied Companions [27.12492233362043]
  リアルタイムエンボディード・コンパニオン・インタラクションでは、ストリーミング音声からのユーザ意図をロボットがタイムリーな応答を生成する必要がある。 リアルタイム・フルタイム・エンボディ・アソシエイト・インタラクションのための統合フレームワークを提案する。 MIRAはAstribot S1のヒューマノイドロボット評価にデプロイされる。
  論文  参考訳（メタデータ） (2026-09-21T13:14:53Z)
• RoboGesture: Real-Time Semantic-aligned Co-Speech Gestures Generation for Humanoid Interaction [33.04319504310729]
  RoboGestureは、完全に対話的な人間-ヒューマノイドシステムを動かすために、データ、モデリング、制御を共同設計するロボット中心のフレームワークである。 まず,300以上のジェスチャーカテゴリを備えたRoboGestureデータセットを構築し,大規模オーディオモーションペアを合成する自動パイプラインを開発した。 Unitree G1のヒューマノイドの実験では、RoboGestureは最先端のベースラインに比べて安全で、よりリズミカルで、セマンティックに適切な応答を生成する。
  論文  参考訳（メタデータ） (2026-08-27T02:13:46Z)
• Speech2Grasp: Data-Efficient Transfer of Text-Conditioned Grasp Detection to Speech in Humanoid Robots [6.597552492273294]
  Speech2Graspは、テキスト条件付きグリップ検出の音声へのデータ転送のためのフレームワークである。 本研究は,既存のテキスト・コンディショニング・システムを音声に拡張するための実践的パラダイムを示唆する。
  論文  参考訳（メタデータ） (2026-07-29T07:40:00Z)
• CLAW: Composable Language-Annotated Whole-body Motion Generation [55.99805728566105]
  CLAWは,言語を付加した全身運動データをスケーラブルに生成するためのパイプラインである。 CLAWは運動プランナーから運動プリミティブを構成し、動き、方向、速度、骨盤の高さ、持続時間によってパラメータ化される。 低レベルコントローラは、これらの参照を MuJoCo シミュレーションで追跡し、物理的に接地された軌道を生成する。
  論文  参考訳（メタデータ） (2026-04-13T10:02:04Z)
• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• Speech2UnifiedExpressions: Synchronous Synthesis of Co-Speech Affective Face and Body Expressions from Affordable Inputs [67.27840327499625]
  本稿では,デジタル文字の表情と上半身ジェスチャーを同時に合成するマルチモーダル学習手法を提案する。 提案手法は, 映像データから直接推定される, まばらな顔のランドマークと上体関節から学習し, もっともらしい感情的性格運動を生成する。
  論文  参考訳（メタデータ） (2024-06-26T04:53:11Z)
• Speech-Gesture GAN: Gesture Generation for Robots and Embodied Agents [5.244401764969407]
  仮想エージェントや社会ロボットという形で、身体エージェントが急速に普及している。 音声テキストと音声の発話から関節角度の連続を生成できる新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-17T18:46:25Z)
• Learning Hierarchical Cross-Modal Association for Co-Speech Gesture Generation [107.10239561664496]
  協調音声ジェスチャ生成のためのHA2G(Hierarchical Audio-to-Gesture)という新しいフレームワークを提案する。 提案手法は,現実的な共同音声ジェスチャーを描画し,従来手法よりも明確なマージンで性能を向上する。
  論文  参考訳（メタデータ） (2022-03-24T16:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。