論文の概要: XBot-Omni: An Omni-Modal Model for Embodied Understanding and Interaction
- arxiv url: http://arxiv.org/abs/2611.17160v1
- Date: Thu, 12 Nov 2026 17:38:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.573025
- Title: XBot-Omni: An Omni-Modal Model for Embodied Understanding and Interaction
- Title(参考訳): XBot-Omni: 身体的理解とインタラクションのためのOmni-Modal Model
- Abstract要約: 身体的相互作用は、エージェントが多モーダルな知覚と言語的および非言語的行動を統合する必要がある。
提案するXBot-Omniは,Omniパラダイムをロボットモダリティに拡張した,思考者向け-話者向け-アクターアーキテクチャである。
- 参考スコア(独自算出の注目度): 25.231628366628485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embodied interaction requires an agent to integrate multimodal perception with verbal and nonverbal behaviors to effectively communicate its intentions, including speech, body motion, and facial expressions. We present XBot-Omni, a Thinker--Talker--Actor architecture that extends the Omni paradigm to robotic modalities, including body motion and facial expressions, with ``X'' representing the extensibility to robotic-specific modalities. The Thinker processes text, images, audio, and video to formulate contextually appropriate responses, which are then realized by the Talker and Actor through speech and coordinated bodily expressions, respectively. In this report, we innovatively introduce the concept of ``Actor'' as a dedicated component for embodied agents: a coordinated, streaming module that leverages the native representations of the Thinker and Talker within an end-to-end pipeline, introducing only modest latency overhead. This unified architecture enables multimodal generation conditioned on omni-modal inputs directly to prevent information loss in staged designs. We comprehensively evaluate XBot-Omni across seven benchmarks, demonstrating strong multimodal understanding capabilities on both general-domain and robot-centric videos, as well as high-quality, natural, and well-coordinated motion generation. Furthermore, our results validate its capability to generate embodied multimodal responses directly from omni inputs, meeting the diverse requirements of embodied interaction. XBot-Omni enables robots not only to perceive the omni world but also to express themselves through speech and bodily behaviors, extending Omni models from conversational interaction to embodied communication in physical environments.
- Abstract(参考訳): 身体的相互作用は、エージェントが発話、身体の動き、表情などの意図を効果的に伝達するために、言語的および非言語的行動とマルチモーダル知覚を統合する必要がある。
我々は,Omniパラダイムをロボットの運動や表情を含むロボットのモダリティに拡張する,思考-話者-アクターアーキテクチャであるXBot-Omniを紹介し,ロボット固有のモダリティの拡張性を示す。
思考者は、テキスト、画像、音声、動画を処理し、文脈的に適切な応答を定式化し、それぞれ音声と調整された身体表現を通してトーカーとアクターによって実現される。
本稿では,エンド・ツー・エンドのパイプラインにおいて,ThinkerとTalkerのネイティブ表現を活用する協調型ストリーミングモジュールとして,わずかに遅延オーバヘッドしか導入しない,エンボディエージェント専用のコンポーネントとして‘Actor’の概念を革新的に導入する。
この統合アーキテクチャにより、オムニモーダル入力を直接条件付きマルチモーダル生成が可能となり、ステージ設計における情報損失を防ぐことができる。
XBot-Omniを7つのベンチマークで総合的に評価し、汎用ドメインとロボット中心のビデオの両方で強力なマルチモーダル理解能力を示し、高品質で自然で協調的なモーション生成を実現した。
さらに,本研究は,Omni入力から直接エンボディド・マルチモーダル応答を生成できることを検証し,エンボディド・インタラクションの多様な要件を満たした。
XBot-Omniは、オムニの世界だけでなく、会話の相互作用から物理的環境における具体的コミュニケーションへとOmniモデルを拡張し、スピーチや身体行動を通じて自分自身を表現することができる。
関連論文リスト
- LLM-Powered Interactive Robotic Action Synthesis from Multimodal Speech, Gestures, and Music [1.7188280334580195]
本稿では,マルチモーダルな人間入力の豊富なタペストリーから複雑なロボット動作を合成する新しいフレームワークを提案する。
システムアーキテクチャは,音声の書き起こしモデル,ジェスチャー認識モジュール,ビート検出のための信号処理パイプラインを統合している。
このフレームワークは、音声からのセマンティックコマンド、ジェスチャーからのディスティック情報、音楽からのリズミカルキューを解釈し、融合する機能を備えている。
論文 参考訳(メタデータ) (2026-06-30T05:35:26Z) - An Approach to Combining Video and Speech with Large Language Models in Human-Robot Interaction [0.0]
本研究は,高度な視覚言語モデル,音声処理,ファジィ論理を組み合わせた新しいHRIフレームワークを提案する。
提案システムは,物体検出のためのFlorence-2,自然言語理解のためのLlama 3.1,音声認識のためのWhisperを統合した。
コンシューマグレードハードウェアで行った実験の結果,コマンド実行精度は75%であった。
論文 参考訳(メタデータ) (2026-02-23T09:05:15Z) - Semantic Co-Speech Gesture Synthesis and Real-Time Control for Humanoid Robots [5.531678625546847]
本稿では,意味論的に意味のある共同音声ジェスチャーを合成し,人間型ロボット上でリアルタイムに展開する,革新的なエンドツーエンドフレームワークを提案する。
私たちの中核的なイノベーションは、セマンティックスを意識したジェスチャー合成モジュールの巧妙な統合にあります。
本システムでは, セマンティックに適切かつリズミカルにコヒーレントなジェスチャーを生成する。
論文 参考訳(メタデータ) (2025-12-19T02:55:10Z) - RoboOmni: Proactive Robot Manipulation in Omni-modal Context [165.09049429566238]
我々は,音声対話や環境音,視覚的手がかりから意図を導出する,クロスモーダルな文脈指示を導入する。
目的認識,インタラクション確認,アクション実行を統一する,エンドツーエンドのOmni-Modal LLMに基づくフレームワークであるRoboOmniを提案する。
シミュレーションと実世界の設定の実験では、Robo OmniはテキストベースとASRベースのベースラインを越え、成功率、推論速度、意図認識、積極的に支援している。
論文 参考訳(メタデータ) (2025-10-27T18:49:03Z) - End-to-end Listen, Look, Speak and Act [22.047534228540783]
ELLSAは、より自然で一般的な対話型人工知能への一歩であり、人工知能の幅広い追求に寄与している。
中心となるのはSA-MoE(Attention Mixture-of-Experts)で、それぞれのモダリティを専門の専門家にルーティングすることで、統一された注意バックボーンを通じてそれらを融合させる。
論文 参考訳(メタデータ) (2025-10-19T08:45:46Z) - Seamless Interaction: Dyadic Audiovisual Motion Modeling and Large-Scale Dataset [113.25650486482762]
4000時間以上の対面インタラクション映像の大規模な収集であるSeamless Interactionデータセットを紹介した。
このデータセットは、ダイドの具体的ダイナミクスを理解するAIテクノロジの開発を可能にする。
そこで我々は,このデータセットを用いて,人間の発話に適応した動作ジェスチャーと表情を生成するモデル群を開発した。
論文 参考訳(メタデータ) (2025-06-27T18:09:49Z) - Enhancing Explainability with Multimodal Context Representations for Smarter Robots [0.0]
人間とロボットのインタラクションの鍵となる問題は、ロボットが音声や視覚などのマルチモーダル入力を効果的に知覚し、推論できるようにすることである。
本稿では,言語と視覚の融合を改善するために,コンテキスト表現のための汎用的で説明可能なマルチモーダルフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-28T13:36:47Z) - OpenOmni: Advancing Open-Source Omnimodal Large Language Models with Progressive Multimodal Alignment and Real-Time Self-Aware Emotional Speech Synthesis [95.27191872116306]
nameは、一様アライメントと音声生成を統合する2段階のトレーニングフレームワークである。
雑用、視覚言語、音声言語ベンチマークで最先端モデルを上回っている。
nameは、非自己回帰モードで1秒のレイテンシでリアルタイムの音声生成を実現する。
論文 参考訳(メタデータ) (2025-01-08T15:18:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。