論文の概要: EmoPose: Vision-Language Model Guided Emotion-Aware Gesture Generation for Humanoid Robots

• arxiv url: http://arxiv.org/abs/2609.23414v1
• Date: Sun, 20 Sep 2026 06:58:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 16:49:14.482328
• Title: EmoPose: Vision-Language Model Guided Emotion-Aware Gesture Generation for Humanoid Robots
• Title（参考訳）: EmoPose:ヒューマノイドロボットのための視覚言語モデルによる感情認識ジェスチャー生成
• Abstract要約: EmoPoseは、オープンエンドのヒューマノイドロボットインタラクションのための視覚言語モデル(VLM)誘導フレームワークである。 スケーラブルなロボット所有モーションライブラリは、利用可能な表現語彙と14-DoFジョイントターゲットのソースを定義する。 4ストップの研究室ツアーでは、中断、カメラ地上対話、ナビゲーションによる表現的なナレーションが展示されている。
• 参考スコア（独自算出の注目度）: 6.42883386272464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Socially competent humanoid robots must communicate affect and intent through gesture as well as speech, yet open-ended interaction must become motion that is both expressive and executable on a specific body. This demands semantic flexibility for contextual social intent while preserving deterministic, embodiment-aware robot control. We present EmoPose, a vision-language model (VLM)-guided framework that bridges this gap through an executable semantic interface. Given language, dialogue history, and optional visual context, the VLM selects an ordered gesture plan containing a communicative class, library variant, intensity, and speech anchor. A scalable robot-owned motion library defines the available expressive vocabulary and the source of 14-DoF joint targets. Pose Studio supports automatic trajectory generation, MuJoCo preview, and automatic synchronization of new library entries with the VLM guide; deterministic robot-side modules validate plans, construct trajectories, schedule gestures, and manage queueing and interruption. This division lets the interaction repertoire grow for new social contexts without changing the control interface or delegating raw joint commands to the foundation model. On the EmoPose-Bench, structured GPT-5.5 planning reaches $98.25\pm0.52\%$ on the Easy tier and $76.50\pm0.54\%$ overall, exceeding same-model direct-label prompting. Further tests validate dialogue-context use and ordered multi-action composition. The system completes the nominal MuJoCo suite and realizes all 29 authored variants on the physical Unitree G1. A four-stop laboratory tour demonstrates expressive narration with interruption, camera-grounded dialogue, and navigation.
• Abstract（参考訳）: 社会的に有能なヒューマノイドロボットは、ジェスチャーやスピーチを通じて感情と意図を伝達する必要があるが、オープンエンドの相互作用は、特定の身体上で表現的かつ実行可能な動作となる必要がある。 これは、決定論的、具体的ロボット制御を保ちながら、文脈的社会的意図に対する意味的柔軟性を要求する。 EmoPoseは視覚言語モデル(VLM)誘導フレームワークで、このギャップを実行可能なセマンティックインターフェースを通して橋渡しする。 言語、対話履歴、オプションの視覚的コンテキストが与えられた場合、VLMは、通信クラス、ライブラリの変種、強度、音声アンカーを含む順序付きジェスチャープランを選択する。 スケーラブルなロボット所有モーションライブラリは、利用可能な表現語彙と14-DoFジョイントターゲットのソースを定義する。 Pose Studioは自動トラジェクトリ生成、MuJoCoプレビュー、VLMガイドによる新しいライブラリエントリの自動同期、決定論的ロボットサイドモジュールによる計画検証、トラジェクトリの構築、スケジュールジェスチャー、キューと中断の管理をサポートする。 この分割により、インタラクションレパートリーは、コントロールインターフェースを変更したり、生のジョイントコマンドをファンデーションモデルに委譲することなく、新しい社会的コンテキストのために成長することができる。 EmoPose-Benchでは、構造化されたGPT-5.5プランニングがイージー層で9,8.25 pm0.52 %、全体で7,6.50 pm0.54 %に達し、同じモデルの直接ラベルのプロンプトを超えた。 さらに、対話コンテキストの使用と順序付き多アクション合成を検証する。 このシステムは名目上の MuJoCo スイートを完了し、物理Unitree G1 上の29の著作物すべてを実現する。 4ストップの研究室ツアーでは、中断、カメラ地上対話、ナビゲーションによる表現的なナレーションが展示されている。

関連論文リスト

• LLM-Powered Interactive Robotic Action Synthesis from Multimodal Speech, Gestures, and Music [1.7188280334580195]
  本稿では,マルチモーダルな人間入力の豊富なタペストリーから複雑なロボット動作を合成する新しいフレームワークを提案する。 システムアーキテクチャは,音声の書き起こしモデル,ジェスチャー認識モジュール,ビート検出のための信号処理パイプラインを統合している。 このフレームワークは、音声からのセマンティックコマンド、ジェスチャーからのディスティック情報、音楽からのリズミカルキューを解釈し、融合する機能を備えている。
  論文  参考訳（メタデータ） (2026-06-30T05:35:26Z)
• MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
  Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。 既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。 MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T18:59:51Z)
• ViBES: A Conversational Agent with Behaviorally-Intelligent 3D Virtual Body [25.087113475162592]
  ViBES(Voice in Behavioral Expression and Synchrony)は、言語と運動を共同で計画する対話型3Dエージェントである。 ViBESは、言語、韻律、運動が共同生成されるエージェント仮想体への「音声条件の運動生成」を越えている。
  論文  参考訳（メタデータ） (2025-12-16T09:41:21Z)
• RoboOmni: Proactive Robot Manipulation in Omni-modal Context [165.09049429566238]
  我々は,音声対話や環境音,視覚的手がかりから意図を導出する,クロスモーダルな文脈指示を導入する。 目的認識,インタラクション確認,アクション実行を統一する,エンドツーエンドのOmni-Modal LLMに基づくフレームワークであるRoboOmniを提案する。 シミュレーションと実世界の設定の実験では、Robo OmniはテキストベースとASRベースのベースラインを越え、成功率、推論速度、意図認識、積極的に支援している。
  論文  参考訳（メタデータ） (2025-10-27T18:49:03Z)
• GestureGPT: Toward Zero-Shot Free-Form Hand Gesture Understanding with Large Language Model Agents [35.48323584634582]
  本稿では,人間のジェスチャー理解を模倣する自由形式の手ジェスチャー理解フレームワークであるGestureGPTを紹介する。 我々のフレームワークは、複数の大規模言語モデルエージェントを利用してジェスチャーや文脈情報を管理し、合成する。 私たちは、スマートホームコントロールとオンラインビデオストリーミングという2つの現実シナリオの下で、私たちのフレームワークをオフラインで検証しました。
  論文  参考訳（メタデータ） (2023-10-19T15:17:34Z)
• InternGPT: Solving Vision-Centric Tasks by Interacting with ChatGPT Beyond Language [82.92236977726655]
  InternGPTは textbfinteraction, textbfnonverbal, textbfchatbot の略である。 InternGPT(iGPT)という対話型視覚フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-09T17:58:34Z)
• VLMbench: A Compositional Benchmark for Vision-and-Language Manipulation [11.92150014766458]
  我々は、人間の指示に従ってオブジェクト操作を行う、最後の1マイルのエンボディエージェントの空白を埋めることを目指している。 我々は、視覚・言語操作ベンチマーク(VLMbench)を構築し、分類されたロボット操作タスクに関する様々な言語命令を含む。 モジュラールールベースのタスクテンプレートが作成され、言語命令でロボットのデモを自動的に生成する。
  論文  参考訳（メタデータ） (2022-06-17T03:07:18Z)
• A Framework for Integrating Gesture Generation Models into Interactive Conversational Agents [0.0]
  Embodied conversational agent (ECA) は、自然かつ効率的なユーザとの対話において、非言語行動の恩恵を受ける。 近年のジェスチャー生成手法は,ユーザとのリアルタイムインタラクションでは評価されていない。 本稿では,現代のジェスチャ生成モデルの評価を容易にするための概念実証フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-24T14:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。