論文の概要: Context-Aware Generation and Modulation of Expressive Motion Behavior using Multimodal Foundation Models

• arxiv url: http://arxiv.org/abs/2610.35615v1
• Date: Mon, 26 Oct 2026 15:33:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.055045
• Title: Context-Aware Generation and Modulation of Expressive Motion Behavior using Multimodal Foundation Models
• Title（参考訳）: マルチモーダル基礎モデルを用いた文脈認識による表現行動の生成と変調
• Abstract要約: 表現力のあるロボットの動きは、ユーザエンゲージメント、自由度、タスクパフォーマンスを改善することによって、人間とロボットの相互作用に肯定的な影響を与える。 マルチモーダルなコンテキスト記述から複雑で表現力のある全体ジェスチャー列を自動生成・変調する新しい手法を提案する。 人間のようなプラットフォームを用いたユーザスタディの結果,参加者は,非変調あるいはAPIレベルの条件下で生成された動作よりも,システムの動作がインタラクションコンテキストに適合していると判断した。
• 参考スコア（独自算出の注目度）: 1.1071349414388978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expressive robot motion positively impacts human-robot interaction by improving user engagement, likability, or task performance. We present a novel approach to automatically generate and modulate complex, expressive full-body gesture sequences from a multimodal (text, audio, video) context description. Based on a unified mathematical implementation of the Principles of Animation using Dynamic Movement Primitives, we use multimodal foundation models to generate such sequences along with parametric motion variations that are highly context-aware. This method extends the state of the art in terms of flexibility and generality by being interpretable, composable, and working across different robot morphologies. Moreover, we integrate the system into a continuous control framework and leverage knowledge distillation to learn a much smaller model, significantly improving token efficiency and system latency. Results from a user study with a human-like platform indicate that participants judged our system's motions to be better aligned with the interaction context than motions produced under a non-modulated or API-level condition. We also demonstrate how the system generates expressive motion for robots with different kinematics, showcasing its versatility. Paper webpage: https://gen-mod-expressive-motion-behavior.github.io/.
• Abstract（参考訳）: 表現力のあるロボットの動きは、ユーザエンゲージメント、自由度、タスクパフォーマンスを改善することによって、人間とロボットの相互作用に肯定的な影響を与える。 マルチモーダル(テキスト,音声,ビデオ)コンテキスト記述から,複雑で表現力のある全体ジェスチャー列を自動生成・変調する新しい手法を提案する。 動的運動プリミティブを用いたアニメーションの原理の統一的な数学的実装に基づいて、このようなシーケンスを生成するために多モーダル基礎モデルと、文脈によく認識されるパラメトリックな動きのバリエーションを用いる。 この方法は、ロボット形態を解釈し、構成し、動作させることにより、柔軟性と汎用性の観点から最先端の手法を拡張する。 さらに,システムを継続的制御フレームワークに統合し,知識蒸留を活用して,より小さなモデルを学習し,トークン効率とシステム遅延を大幅に改善する。 人間のようなプラットフォームを用いたユーザスタディの結果,参加者は,非変調あるいはAPIレベルの条件下で生成された動作よりも,システムの動作がインタラクションコンテキストに適合していると判断した。 また,異なる運動量を持つロボットに対して,システムがどのように表現運動を生成するかを実証し,その汎用性を示す。 paper webpage: https://gen-mod- expressive-motion-behavior.github.io/.com

関連論文リスト

• In-Context Model Predictive Generation: Open-Vocabulary Motion Synthesis from Language Models to Physics [109.99871326497333]
  In-Context Model Predictive Generation (ICMPG)は、言語モデル計画と推論時の物理的フィードバックを統合するフレームワークである。 ICMPGは2つのモジュールでモデル予測制御(MPC)のようなプロセスとして運動合成を再構成する。
  論文  参考訳（メタデータ） (2026-06-25T12:50:33Z)
• MotionVerse: A Unified Multimodal Framework for Motion Comprehension, Generation and Editing [53.98607267063729]
  MotionVerseは、シングルパーソンとマルチパーソンの両方のシナリオで人間の動作を理解し、生成し、編集するフレームワークである。 我々は、連続的な動き列をマルチストリーム離散トークンに変換する残差量子化を伴う動きトークン化器を用いる。 また、残留トークンストリームの符号化を時間的に停滞させる textitDelay Parallel Modeling 戦略も導入する。
  論文  参考訳（メタデータ） (2025-09-28T04:20:56Z)
• GENMO: A GENeralist Model for Human MOtion [64.16188966024542]
  本稿では,1つのフレームワークで動作推定と生成を橋渡しする汎用人体運動モデル GENMO を提案する。 我々の重要な洞察は、出力運動が観測された条件信号を正確に満たさなければならないような制約された動き生成として運動推定を再構成することである。 我々の新しいアーキテクチャは、可変長動きと混合マルチモーダル条件(テキスト、オーディオ、ビデオ)を異なる時間間隔で処理し、柔軟な制御を提供する。
  論文  参考訳（メタデータ） (2025-05-02T17:59:55Z)
• InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
  我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。 我々の重要な洞察は、大規模なビデオ生成モデルは、大規模ビデオデータからインタラクティブなダイナミクスを学習し、ニューラルと暗黙の物理シミュレーターの両方として機能できるということです。
  論文  参考訳（メタデータ） (2024-12-16T13:57:02Z)
• A Unified Framework for Motion Reasoning and Generation in Human Interaction [28.736843383405603]
  本稿では,言語と運動の両モードを統合したVersatile Interactive Motion-Languageモデルを提案する。 VIMは、動きとテキストのモダリティの両方を同時に理解し、生成することができる。 我々は,動画像のテキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト)、反応生成,動作編集,および動作系列の推論を含む複数の対話的動作関連タスク
  論文  参考訳（メタデータ） (2024-10-08T02:23:53Z)
• MoConVQ: Unified Physics-Based Motion Control via Scalable Discrete Representations [25.630268570049708]
  MoConVQは、スケーラブルな離散表現を活用する物理ベースのモーションコントロールのための新しい統合フレームワークである。 提案手法は,数十時間の動作例にまたがる大規模非構造データセットから,効果的に動作埋め込みを学習する。
  論文  参考訳（メタデータ） (2023-10-16T09:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。