論文の概要: Grounded Gesture Generation: Language, Motion, and Space

• arxiv url: http://arxiv.org/abs/2507.04522v1
• Date: Sun, 06 Jul 2025 20:19:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.223357
• Title: Grounded Gesture Generation: Language, Motion, and Space
• Title（参考訳）: 接地ジェスチャ生成:言語,運動,空間
• Authors: Anna Deichler, Jim O'Regan, Teo Guichoux, David Johansson, Jonas Beskow,
• Abstract要約: グラウンドドジェスチャ生成のためのマルチモーダルデータセットとフレームワークを提案する。 我々はHumanML3Dフォーマットで標準化された7.7時間以上の同期動作、音声、および3Dシーン情報を提供する。 我々の貢献は、位置決めジェスチャ生成と接地されたマルチモーダル相互作用の研究を促進する基盤を確立する。
• 参考スコア（独自算出の注目度）: 3.4973270688542626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human motion generation has advanced rapidly in recent years, yet the critical problem of creating spatially grounded, context-aware gestures has been largely overlooked. Existing models typically specialize either in descriptive motion generation, such as locomotion and object interaction, or in isolated co-speech gesture synthesis aligned with utterance semantics. However, both lines of work often treat motion and environmental grounding separately, limiting advances toward embodied, communicative agents. To address this gap, our work introduces a multimodal dataset and framework for grounded gesture generation, combining two key resources: (1) a synthetic dataset of spatially grounded referential gestures, and (2) MM-Conv, a VR-based dataset capturing two-party dialogues. Together, they provide over 7.7 hours of synchronized motion, speech, and 3D scene information, standardized in the HumanML3D format. Our framework further connects to a physics-based simulator, enabling synthetic data generation and situated evaluation. By bridging gesture modeling and spatial grounding, our contribution establishes a foundation for advancing research in situated gesture generation and grounded multimodal interaction. Project page: https://groundedgestures.github.io/
• Abstract（参考訳）: 近年、人間の動き生成は急速に進歩しているが、空間的に接地されたコンテキスト認識のジェスチャーを作成するという重要な問題は、ほとんど見過ごされてきている。 既存のモデルは典型的には、ロコモーションやオブジェクトインタラクションのような記述的な動作生成や、発話セマンティクスと整合した単独の音声合成に特化している。 しかし、どちらの作品も運動と環境の接地を別々に扱うことが多く、具体化されたコミュニケーションエージェントへの進歩を制限している。 このギャップに対処するため,本研究では,(1)空間的に接地された参照ジェスチャーの合成データセット,(2)VRベースの対話をキャプチャするMM-Convという2つの重要な資源を組み合わせた,接地ジェスチャ生成のためのマルチモーダルデータセットとフレームワークを導入する。 同時に、HumanML3Dフォーマットで標準化された7.7時間以上の同期動作、音声、および3Dシーン情報を提供する。 さらに,本フレームワークは,物理に基づくシミュレータに接続し,合成データ生成と位置評価を可能にする。 ジェスチャーモデリングと空間的接地をブリッジすることで,位置決めジェスチャ生成と接地されたマルチモーダルインタラクションの研究を前進させる基盤を確立する。 プロジェクトページ: https://groundedgestures.github.io/

関連論文リスト

• HOSIG: Full-Body Human-Object-Scene Interaction Generation with Hierarchical Scene Perception [57.37135310143126]
  HO SIGは階層的なシーン認識を通じて全体インタラクションを合成するための新しいフレームワークである。 我々のフレームワークは、自己回帰生成による運動長の無制限化をサポートし、手動による介入を最小限に抑える。 この研究は、シーン認識ナビゲーションとデクスタラスオブジェクト操作の間に重要なギャップを埋める。
  論文  参考訳（メタデータ） (2025-06-02T12:08:08Z)
• UniHM: Universal Human Motion Generation with Object Interactions in Indoor Scenes [26.71077287710599]
  シーン認識型人間の動作に拡散に基づく生成を利用する統一運動言語モデルUniHMを提案する。 UniHMは、複雑な3DシーンでText-to-MotionとText-to-Human-Object Interaction (HOI)の両方をサポートする最初のフレームワークである。 提案手法では, 動作リアリズムを改善するために, 連続した6DoF運動と離散的な局所運動トークンを融合する混合運動表現, 従来のVQ-VAEを上回り, 再現精度と生成性能を両立させる新規なLook-Up-Free Quantization VAE, 強化されたバージョンの3つの重要なコントリビューションを導入している。
  論文  参考訳（メタデータ） (2025-05-19T07:02:12Z)
• Human-Object Interaction via Automatically Designed VLM-Guided Motion Policy [30.43930233035367]
  VLM(Vision-Language Models)を利用した最初の統合物理ベースのHOフレームワークを紹介する。 VLM-Guided Relative Movement Dynamics (RMD)を導入する。これは、強化学習のための目標状態と報酬関数を自動的に構築する、微細な時間的二部運動表現である。 提案手法をサポートするために,何千もの長期の静的および動的相互作用計画を持つ新しいデータセットであるInterplayを提案する。
  論文  参考訳（メタデータ） (2025-03-24T05:18:04Z)
• HoloGest: Decoupled Diffusion and Motion Priors for Generating Holisticly Expressive Co-speech Gestures [8.50717565369252]
  HoleGestは、高品質で表現力のある共同音声ジェスチャーの自動生成のための、新しいニューラルネットワークフレームワークである。 本システムでは,音声依存度が低く,モーション依存度が高く,より安定した大域的動作と詳細な指の動きが可能である。 我々のモデルは、没入感のあるユーザー体験を提供するために、真実に近い現実主義のレベルを達成する。
  論文  参考訳（メタデータ） (2025-03-17T14:42:31Z)
• Generating Human Motion in 3D Scenes from Text Descriptions [60.04976442328767]
  本稿では,人間とシーンのインタラクションをテキストで記述した3次元屋内シーンにおけるヒューマンモーション生成の課題に焦点を当てた。 複雑な問題を2つのより管理可能なサブプロブレムに分解する新しい手法を提案する。 対象オブジェクトの言語グラウンド化には、大きな言語モデルのパワーを活用し、モーション生成には、オブジェクト中心のシーン表現を設計する。
  論文  参考訳（メタデータ） (2024-05-13T14:30:12Z)
• Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
  本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。 我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。 トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
  論文  参考訳（メタデータ） (2024-04-16T16:04:38Z)
• Move as You Say, Interact as You Can: Language-guided Human Motion Generation with Scene Affordance [48.986552871497]
  本稿では,シーンアベイランスを中間表現として活用する新しい2段階フレームワークを提案する。 シーンアベイランスマップを活用することで,マルチモーダルな条件下での人間の動きを再現する難しさを克服する。 我々のアプローチは、HumanML3DやHUMANISEなど、確立されたベンチマークのベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-03-26T18:41:07Z)
• Controllable Human-Object Interaction Synthesis [77.56877961681462]
  本研究では,3次元シーンにおける同期物体の動きと人間の動きを生成するための制御可能な人間-物体相互作用合成(CHOIS)を提案する。 ここでは,高レベルな計画から効果的に抽出できるスタイルや意図を言語記述が通知し,シーン内の動きをグラウンド化する。 我々のモジュールは経路計画モジュールとシームレスに統合され、3D環境における長期的相互作用の生成を可能にします。
  論文  参考訳（メタデータ） (2023-12-06T21:14:20Z)
• GraMMaR: Ground-aware Motion Model for 3D Human Motion Reconstruction [61.833152949826946]
  本研究では,GraMMaRという3次元人体動作再構成のための新しいグラウンド・アウェア・モーション・モデルを提案する。 GraMMaRは、動きシーケンスの各時間ステップにおいて、ポーズにおける遷移の分布と、各関節面と接地面の間の相互作用を学習する。 運動と地面への距離変化との整合性を明確に促進するように訓練されている。
  論文  参考訳（メタデータ） (2023-06-29T07:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。