論文の概要: Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue

• arxiv url: http://arxiv.org/abs/2609.04250v1
• Date: Fri, 28 Aug 2026 21:02:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.750247
• Title: Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue
• Title（参考訳）: Motion-Omni: 音声対話のためのエンドツーエンド音声とフルボディモーション
• Abstract要約: 音声対話モデルは音声を無声で生成し、音声のみから音声を合成する。 我々は,手,上半身,下半身の動作とともに,音声対話モデルによって明示的な表情を出力する,エンドツーエンドのフレームワークであるMotion-Omniを提案する。 我々はさらにSwwenDA-500をリリースし、我々の知る限り、オープンエンドフルボディ音声対話のための最初の公開評価プロトコルについて述べる。
• 参考スコア（独自算出の注目度）: 30.587755818246052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An avatar that holds a conversation should decide what to say and to move while saying it, yet these abilities live in separate model families: spoken dialogue models produce speech without motion, and co-speech motion models produce motion only from audio handed to them. The standard remedy is a cascade that first generates the spoken response and then runs a motion model over the finished audio, which requires a second full inference pass and precludes any joint optimisation between the two. We present Motion-Omni, an end-to-end framework in which a spoken dialogue model natively outputs explicit facial expression together with hand, upper-body and lower-body motion, generated directly from the hidden states that produce the speech. Joint training is not optional here: with the speech pathway frozen, motion remains misaligned with the audio, and co-adapting the LLM, Speech Generator and Motion Generator under both objectives is what recovers alignment while retaining spoken-dialogue ability. Supervision comes from a scalable, model-agnostic pipeline that pseudo-labels consistent-voice speech responses with a replaceable motion teacher, yielding 422,856 quality-ranked pairs (1,402 hours). We further release SwDA-500 and, to our knowledge, the first public evaluation protocol for stochastic open-ended full-body spoken dialogue, matching audio across motion systems while unifying rendering, automatic metrics, human evaluation, and latency measurement. Instantiated with a Qwen2.5-7B-Instruct backbone, Motion-Omni-Q7 matches the same-audio teacher cascade to within 2% on reference-free motion metrics while responding 5.4 x faster (RTF=0.78, faster than real time), surpasses all non-teacher cascades on beat correlation and diversity, and reaches a 2.62% word error rate, the lowest among the omni-modal systems compared.
• Abstract（参考訳）: 会話を行うアバターは、何を言うべきかを決め、それを言いながら動くべきかを決定するが、これらの能力は別々にモデルファミリーで生活する: 音声対話モデルは、動きのない音声を生成し、共同音声モーションモデルは、手渡された音声からのみ動きを生成する。 標準的な治療法は、まず音声応答を生成し、次に完了したオーディオ上でモーションモデルを実行するカスケードである。 音声対話モデルでは,音声を生成する隠蔽状態から直接,手,上半身,下半身の動作とともに明瞭な表情をネイティブに出力する。 音声経路が凍結された状態では、動きは音声と不一致のままであり、LLM、音声発生器、モーションジェネレータを双方の目的の下で併用することは、音声対話能力を維持しながらアライメントを回復する。 Supervisionはスケーラブルでモデルに依存しないパイプラインで、擬似ラベルで一貫した音声応答を、置換可能なモーション教師と交換可能で、422,856個の品質ランクのペア(1,402時間)を出力する。 我々はさらにSwDA-500をリリースし、我々の知る限り、確率的な全体音声対話のための最初の公開評価プロトコル、動きシステム間の音声のマッチング、レンダリング、自動メトリクス、人体評価、遅延測定を統一する。 Qwen2.5-7B-Instructのバックボーンにより、Motion-Omni-Q7は5.4倍高速(RTF=0.78、リアルタイムより速い)で、同じオーディオ教師のカスケードを2%以内までマッチングし、ビート相関と多様性に関するすべての非教師のカスケードを超越し、2.62%の単語誤り率に達した。

関連論文リスト

• Noise Adaptive Streaming Audio-Visual Speech Token Enhancement for Robust Full-Duplex Spoken Dialogue Models [49.372283081631366]
  AVSTEは、音声知覚に到達する前に、ノイズの多い音声とリップビデオから意味のある音声トークンを復元する。 モシと統合すると、AVSTEは平均GPT-4ojudged応答コヒーレンスを1.42.91から改善する。
  論文  参考訳（メタデータ） (2026-09-08T07:59:13Z)
• Dual-Scale State-Space Modeling with Speaker-Wise Dynamic CRF for Speech Emotion Recognition in Conversation [1.6389263804357965]
  感情認識のための音声のみのアーキテクチャであるDSSM-CRFを提案する。 双方向状態空間モデルは、フレームと対話スケールでの融合した自己教師付き音声表現を符号化する。 話者の連鎖における連続的な発話は、スコアがコーパスレベルの遷移行列と、2つの文脈化された発話から予測される残差を組み合わせた遷移対を形成する。
  論文  参考訳（メタデータ） (2026-08-23T12:56:03Z)
• ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance [50.482989497576476]
  音声による会話キャラクタアニメーションは、自然な会話行動を伝えるライフライクなポートレートビデオを生成する。 既存のアプローチは通常、動的表情や頭部の動きに対して正確な音素間同期をオフにする。 本稿では,事前学習したビデオ生成モデルに基づく,フローマッチング型音声-画像間アニメーションフレームワークReFree-S2Vを提案する。
  論文  参考訳（メタデータ） (2026-06-11T13:00:58Z)
• Gesture2Speech: How Far Can Hand Movements Shape Expressive Speech? [11.96255700478909]
  合成音声における韻律の変調に視覚ジェスチャーの手がかりを利用する新しいマルチモーダルテキスト音声合成フレームワークGesture2Speechを提案する。 Gesture2Speechは、音声の自然さとジェスチャー音声の同期の両方において、最先端のベースラインよりも優れていることを示す。 我々の知る限りでは、これはニューラル音声合成における韻律制御に手動ジェスチャーを用いた最初の試みである。
  論文  参考訳（メタデータ） (2026-03-20T10:17:10Z)
• MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
  Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。 既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。 MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T18:59:51Z)
• F-Actor: Controllable Conversational Behaviour in Full-Duplex Models [70.48189107402145]
  典型的な学術的制約下で効率的に訓練できる,第1にオープンかつ命令追従型全段階会話音声モデルを提案する。 我々のモデルは、大規模な事前訓練や多段階事前訓練に頼ることなく、わずか2000時間のデータしか必要としない。 モデルとトレーニングコードの両方がリリースされ、制御可能なフルステージ音声システムに関する再現可能な研究が可能になる。
  論文  参考訳（メタデータ） (2026-01-16T14:25:57Z)
• UniLS: End-to-End Audio-Driven Avatars for Unified Listening and Speaking [21.70536197968411]
  UniLSは、デュアルトラックオーディオのみによって駆動される統一された音声リスト式を生成するための最初のエンドツーエンドフレームワークである。 聴取能力は44.1%向上し、より多様で自然な聴取表現を生み出している。
  論文  参考訳（メタデータ） (2025-12-10T05:25:58Z)
• HM-Talker: Hybrid Motion Modeling for High-Fidelity Talking Head Synthesis [90.74616208952791]
  HM-Talkerは、高忠実で時間的コヒーレントな話しヘッドを生成するための新しいフレームワークである。 AUs(Action Units)は、解剖学的に定義された顔面の筋肉の動きと、音素と視覚の相違を最小限に抑える暗黙的な特徴を使用する。
  論文  参考訳（メタデータ） (2025-08-14T12:01:52Z)
• It Takes Two: Real-time Co-Speech Two-person's Interaction Generation via Reactive Auto-regressive Diffusion Model [34.94330722832987]
  会話中の2文字の動的動きを合成するための音声駆動自動回帰システムを提案する。 我々の知る限りでは、オンライン方式で2文字の対話型フルボディモーションを生成できる最初のシステムである。
  論文  参考訳（メタデータ） (2024-12-03T12:31:44Z)
• Freeform Body Motion Generation from Speech [53.50388964591343]
  音声から体の動きを生成することは、音声から体の動きへの非決定論的マッピングのために本質的に困難である。 2ストリームアーキテクチャを組み込んだ新しいフリーフォームモーション生成モデル(FreeMo)を提案する。 実験は、いくつかのベースラインに対して優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-04T13:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。