論文の概要: MIRA: Real-Time Full-Duplex Human-Robot Interaction for Embodied Companions
- arxiv url: http://arxiv.org/abs/2609.24547v1
- Date: Mon, 21 Sep 2026 13:14:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.998542
- Title: MIRA: Real-Time Full-Duplex Human-Robot Interaction for Embodied Companions
- Title（参考訳）: MIRA: 身体障害者のためのリアルタイムフルダブル・ヒューマン・ロボットインタラクション
- Abstract要約: リアルタイムの具体的相互作用には、ロボットがユーザの意図をストリーミング音声から推測し、タイムリーな応答を生成し、動きを中断する必要がある。
本報告では, 統合されたフレームワークを具体化して実装する。
我々はAstribot S1のヒューマノイドロボットにMIRAを配備する。
- 参考スコア（独自算出の注目度）: 27.12492233362043
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Real-time embodied companion interaction requires a robot to infer user intent from streaming speech, generate timely responses, and execute expressive, interruptible motions. Existing systems typically decouple dialogue orchestration from gesture synthesis, relying on offline motion generation from complete audio. This separation leaves open how a deployed robot can dynamically synchronize response content, prosodic timing, and physical safety under incremental inputs and uncertain turn boundaries. We present MIRA, a unified framework for full-duplex embodied companion interaction. Given streaming user speech, dialogue history, and vocal affect, MIRA predicts both the response text and an explicit embodiment cue. Discrete social behaviors (\eg listening, greeting) are mapped to validated robot trajectories, while open-ended speaking is paired with streaming, co-speech motion. This generative motion is governed by a predict-more-than-commit sliding window that provides temporal look-ahead for motion continuity while limiting physical commitment to a short, cancellable prefix. Crucially, we design CORTEX, a dual-timescale interaction policy that manages low-latency streaming and deliberative turn decisions, backed by a robot-side execution layer that enforces physical safety constraints at the control rate. We deploy MIRA on an Astribot S1 humanoid robot. Quantitative evaluations demonstrate competitive audio-motion alignment relative to state-of-the-art motion-generation baselines, while real-robot deployment measurements characterize streaming responsiveness and interruption handling.
- Abstract（参考訳）: リアルタイムエンボディード・コンパニオン・インタラクションでは、ロボットがストリーミング音声からユーザの意図を推測し、タイムリーな応答を生成し、表現的で中断可能な動作を実行する必要がある。
既存のシステムは、通常、ジェスチャー合成から対話オーケストレーションを分離し、完全なオーディオからオフラインのモーション生成に依存する。
この分離は、デプロイされたロボットがインクリメンタル入力と不確実なターンバウンダリの下で、応答内容、韻律タイミング、物理的安全性を動的に同期する方法を開放する。
我々は,完全二重化共役相互作用のための統一的なフレームワークであるMIRAを提案する。
ストリーミングユーザ音声、対話履歴、発声の影響を考慮し、MIRAは応答テキストと明示的なエンボディメントキューの両方を予測する。
離散的な社会的行動 (\eg listen, greeting) は、検証済みのロボット軌道にマッピングされ、オープンエンドの発話は、ストリーミングされた共同音声の動きとペアリングされる。
この生成運動は、短時間で許容可能な接頭辞への物理的コミットメントを制限しつつ、運動連続性に対する時間的ルックアヘッドを提供する予測以上の滑り窓によって制御される。
重要なことに,我々は,低レイテンシなストリーミングと熟考的なターン決定を管理するデュアルタイムのインタラクションポリシであるCORTEXを,制御速度で物理的な安全制約を強制するロボット側実行層によって設計する。
我々はAstribot S1のヒューマノイドロボットにMIRAを配備する。
定量的評価では、最先端のモーションジェネレーションベースラインに対して競合するオーディオ-モーションアライメントが示され、実際のロボット配置計測では、ストリーミング応答性と割り込みハンドリングが特徴的である。
関連論文リスト
- RoboGesture: Real-Time Semantic-aligned Co-Speech Gestures Generation for Humanoid Interaction [33.04319504310729]
RoboGestureは、完全に対話的な人間-ヒューマノイドシステムを動かすために、データ、モデリング、制御を共同設計するロボット中心のフレームワークである。
まず,300以上のジェスチャーカテゴリを備えたRoboGestureデータセットを構築し,大規模オーディオモーションペアを合成する自動パイプラインを開発した。
Unitree G1のヒューマノイドの実験では、RoboGestureは最先端のベースラインに比べて安全で、よりリズミカルで、セマンティックに適切な応答を生成する。
論文 参考訳（メタデータ） (2026-08-27T02:13:46Z) - Semantic Audio-driven Understanding for Dynamic Humanoid Whole Body Control [0.0]
セマンティックオーディオ駆動型ヒューマノイド制御のための新しいマルチモーダルオーケストレーションフレームワークを提案する。
システムは、連続したオーディオストリームを処理し、それらを音楽または音声ブランチにルーティングする。
音楽入力は音声フィンガープリントとセマンティック埋め込みによって処理され、トラックのアイデンティティと時間的アライメントを取得する。
音声入力は、模倣学習スキルの個別ライブラリに基礎を置いており、直接人間とロボットの相互作用を可能にする。
論文 参考訳（メタデータ） (2026-07-15T14:24:00Z) - LLM-Powered Interactive Robotic Action Synthesis from Multimodal Speech, Gestures, and Music [1.7188280334580195]
本稿では,マルチモーダルな人間入力の豊富なタペストリーから複雑なロボット動作を合成する新しいフレームワークを提案する。
システムアーキテクチャは,音声の書き起こしモデル,ジェスチャー認識モジュール,ビート検出のための信号処理パイプラインを統合している。
このフレームワークは、音声からのセマンティックコマンド、ジェスチャーからのディスティック情報、音楽からのリズミカルキューを解釈し、融合する機能を備えている。
論文 参考訳（メタデータ） (2026-06-30T05:35:26Z) - MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction [76.4461698685681]
Mini-o 4.5は、人間レベルのリアルタイムストリーミングインタラクションに向けた最新の取り組みです。
Omni-CPMは、オムニモードの知覚と出力を共有時間軸に沿って整列する統合ストリーミングフレームワークである。
合計9Bパラメータで、Mini-o 4.5は視力計算能力においてGemini 2.5 Flashにアプローチし、最先端のオープンな計算性能を提供する。
論文 参考訳（メタデータ） (2026-04-30T04:05:43Z) - MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。
既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。
MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
論文 参考訳（メタデータ） (2026-03-03T18:59:51Z) - TextOp: Real-time Interactive Text-Driven Humanoid Robot Motion Generation and Control [62.93681680333618]
TextOpはリアルタイムテキスト駆動型ヒューマノイドモーション生成および制御フレームワークである。
ストリーミング言語コマンドと実行中のオンザフライ命令修正をサポートする。
対話型モーション生成を堅牢な全身制御でブリッジすることで、TextOpは自由形式のインテント表現をアンロックする。
論文 参考訳（メタデータ） (2026-02-07T08:42:11Z) - Real-Time Synchronized Interaction Framework for Emotion-Aware Humanoid Robots [0.5156484100374058]
音声韻律と全体ジェスチャーを同期するNAOロボットのためのリアルタイムフレームワークを提案する。
シームレスな感覚運動調整を可能にすることにより、コンテキスト認識型社会ロボットの展開が促進される。
論文 参考訳（メタデータ） (2026-01-24T03:53:09Z) - Do You Have Freestyle? Expressive Humanoid Locomotion via Audio Control [52.83779852397341]
現在のヒューマノイドロボットには表現力のある即興能力がなく、事前に定義された動きやスパースコマンドに限られている。
音声から音楽駆動ダンスと音声駆動の音声合成ジェスチャーを直接生成できる,最初の統合型音声-音声合成フレームワークであるRoboPerformを提案する。
RoboPerformは、多様な動きパターンに適応するためのResMoEポリシーと、オーディオスタイル注入のための拡散ベースの学生ポリシーを実現している。
論文 参考訳（メタデータ） (2025-12-29T17:59:24Z) - Semantic Co-Speech Gesture Synthesis and Real-Time Control for Humanoid Robots [5.531678625546847]
本稿では,意味論的に意味のある共同音声ジェスチャーを合成し,人間型ロボット上でリアルタイムに展開する,革新的なエンドツーエンドフレームワークを提案する。
私たちの中核的なイノベーションは、セマンティックスを意識したジェスチャー合成モジュールの巧妙な統合にあります。
本システムでは, セマンティックに適切かつリズミカルにコヒーレントなジェスチャーを生成する。
論文 参考訳（メタデータ） (2025-12-19T02:55:10Z) - Ready-to-React: Online Reaction Policy for Two-Character Interaction Generation [82.73098356401725]
本稿では,過去観測された動きに基づいて次のキャラクターのポーズを生成するためのオンライン反応ポリシーであるReady-to-Reactを提案する。
各キャラクターは独自の反応ポリシーを「脳」として持っており、実際の人間のようにストリーミングで対話することができる。
われわれのアプローチはスパース信号で制御でき、VRや他のオンラインインタラクティブ環境にも適している。
論文 参考訳（メタデータ） (2025-02-27T18:40:30Z) - Interaction Transformer for Human Reaction Generation [61.22481606720487]
本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。
我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
論文 参考訳（メタデータ） (2022-07-04T19:30:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。