論文の概要: Human-Object Interaction via Automatically Designed VLM-Guided Motion Policy

• arxiv url: http://arxiv.org/abs/2503.18349v2
• Date: Wed, 28 May 2025 08:08:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 15:04:27.543304
• Title: Human-Object Interaction via Automatically Designed VLM-Guided Motion Policy
• Title（参考訳）: 自動設計VLM誘導モーションポリシーによる人体インタラクション
• Authors: Zekai Deng, Ye Shi, Kaiyang Ji, Lan Xu, Shaoli Huang, Jingya Wang,
• Abstract要約: VLM(Vision-Language Models)を利用した最初の統合物理ベースのHOフレームワークを紹介する。 VLM-Guided Relative Movement Dynamics (RMD)を導入する。これは、強化学習のための目標状態と報酬関数を自動的に構築する、微細な時間的二部運動表現である。 提案手法をサポートするために,何千もの長期の静的および動的相互作用計画を持つ新しいデータセットであるInterplayを提案する。
• 参考スコア（独自算出の注目度）: 30.43930233035367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-object interaction (HOI) synthesis is crucial for applications in animation, simulation, and robotics. However, existing approaches either rely on expensive motion capture data or require manual reward engineering, limiting their scalability and generalizability. In this work, we introduce the first unified physics-based HOI framework that leverages Vision-Language Models (VLMs) to enable long-horizon interactions with diverse object types, including static, dynamic, and articulated objects. We introduce VLM-Guided Relative Movement Dynamics (RMD), a fine-grained spatio-temporal bipartite representation that automatically constructs goal states and reward functions for reinforcement learning. By encoding structured relationships between human and object parts, RMD enables VLMs to generate semantically grounded, interaction-aware motion guidance without manual reward tuning. To support our methodology, we present Interplay, a novel dataset with thousands of long-horizon static and dynamic interaction plans. Extensive experiments demonstrate that our framework outperforms existing methods in synthesizing natural, human-like motions across both simple single-task and complex multi-task scenarios. For more details, please refer to our project webpage: https://vlm-rmd.github.io/.
• Abstract（参考訳）: 人-物体相互作用(HOI)合成は、アニメーション、シミュレーション、ロボット工学の応用に不可欠である。 しかし、既存のアプローチは高価なモーションキャプチャーデータに依存するか、手動の報酬エンジニアリングを必要とし、スケーラビリティと一般化性を制限する。 本研究では、視覚・言語モデル(VLM)を活用して、静的、動的、明瞭なオブジェクトを含む多種多様なオブジェクトタイプとの長い水平相互作用を可能にする、初めての統合物理学ベースのHOIフレームワークを紹介する。 本稿では, VLM-Guided Relative Movement Dynamics (RMD)を紹介した。 人間と物体の間の構造化された関係を符号化することにより、MDは手動の報酬調整なしで、意味論的に基礎付けられた対話型動作ガイダンスを生成することができる。 提案手法をサポートするために,何千もの長期の静的および動的相互作用計画を持つ新しいデータセットであるInterplayを提案する。 大規模な実験により、我々のフレームワークは、単純なシングルタスクと複雑なマルチタスクの両方のシナリオで、自然な人間のような動きを合成する既存の手法よりも優れていることが示された。 詳細はプロジェクトのWebページを参照してください。

関連論文リスト

• InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
  我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。 我々の重要な洞察は、大規模なビデオ生成モデルは、大規模ビデオデータからインタラクティブなダイナミクスを学習し、ニューラルと暗黙の物理シミュレーターの両方として機能できるということです。
  論文  参考訳（メタデータ） (2024-12-16T13:57:02Z)
• A Unified Framework for Motion Reasoning and Generation in Human Interaction [28.736843383405603]
  本稿では,言語と運動の両モードを統合したVersatile Interactive Motion-Languageモデルを提案する。 VIMは、動きとテキストのモダリティの両方を同時に理解し、生成することができる。 我々は,動画像のテキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト)、反応生成,動作編集,および動作系列の推論を含む複数の対話的動作関連タスク
  論文  参考訳（メタデータ） (2024-10-08T02:23:53Z)
• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• Human-Object Interaction from Human-Level Instructions [17.10279738828331]
  本研究では、コンテキスト環境におけるオブジェクト操作のための人間とオブジェクトの相互作用を合成する最初の完全システムを提案する。 我々は大規模言語モデル(LLM)を利用して入力命令を詳細な実行計画に解釈する。 従来の作業とは異なり,本システムは全身運動とシームレスに協調して,詳細な指と物体の相互作用を生成できる。
  論文  参考訳（メタデータ） (2024-06-25T17:46:28Z)
• InterDreamer: Zero-Shot Text to 3D Dynamic Human-Object Interaction [27.10256777126629]
  本稿では,テキスト・インタラクション・ペア・データを直接学習することなく,人間と物体の相互作用を生成できる可能性を示す。 人間の行動が物体の動きにどのように影響するかをモデル化し、単純な物理を理解するために設計された世界モデルを導入する。 これらのコンポーネントを統合することで、新しいフレームワークであるInterDreamerは、ゼロショット方式でテキスト整列した3D HOIシーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-03-28T17:59:30Z)
• Controllable Human-Object Interaction Synthesis [77.56877961681462]
  本研究では,3次元シーンにおける同期物体の動きと人間の動きを生成するための制御可能な人間-物体相互作用合成(CHOIS)を提案する。 ここでは,高レベルな計画から効果的に抽出できるスタイルや意図を言語記述が通知し,シーン内の動きをグラウンド化する。 我々のモジュールは経路計画モジュールとシームレスに統合され、3D環境における長期的相互作用の生成を可能にします。
  論文  参考訳（メタデータ） (2023-12-06T21:14:20Z)
• Revisit Human-Scene Interaction via Space Occupancy [55.67657438543008]
  HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。 本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。 純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
  論文  参考訳（メタデータ） (2023-12-05T12:03:00Z)
• Unified Human-Scene Interaction via Prompted Chain-of-Contacts [61.87652569413429]
  HSI(Human-Scene Interaction)は、AIや仮想現実といった分野において重要なコンポーネントである。 本稿では,言語コマンドによる多様なインタラクションの統一制御を支援する統一型HSIフレームワークUniHSIを提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:59:49Z)
• Synthesizing Diverse Human Motions in 3D Indoor Scenes [16.948649870341782]
  そこで本研究では,仮想人間による3次元屋内シーンの映像化手法を提案する。 既存のアプローチは、キャプチャーされた人間の動きと、それらが相互作用する3Dシーンを含むトレーニングシーケンスに依存している。 仮想人間が3Dシーンをナビゲートし、現実的かつ自律的にオブジェクトと対話できる強化学習ベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-21T09:22:24Z)
• D-Grasp: Physically Plausible Dynamic Grasp Synthesis for Hand-Object Interactions [47.55376158184854]
  動的合成把握タスクを導入する。 既知の6Dポーズと把握基準を持つオブジェクトが与えられた場合、私たちのゴールはオブジェクトをターゲット6Dポーズに移動させる動作を生成することです。 階層的なアプローチは、タスクを低レベルの把握と高レベルのモーション合成に分解する。
  論文  参考訳（メタデータ） (2021-12-01T17:04:39Z)
• iGibson, a Simulation Environment for Interactive Tasks in Large Realistic Scenes [54.04456391489063]
  iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。 私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。 iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
  論文  参考訳（メタデータ） (2020-12-05T02:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。