論文の概要: VLM-Guided Contact Retargeting and Generative Partner Modeling for Humanoid-Human Interaction
- arxiv url: http://arxiv.org/abs/2610.28523v1
- Date: Tue, 20 Oct 2026 16:57:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.938893
- Title: VLM-Guided Contact Retargeting and Generative Partner Modeling for Humanoid-Human Interaction
- Title（参考訳）: VLM-Guided Contact Retargeting and Generative Partner Modeling for Humanoid-Human Interaction
- Abstract要約: デプロイ可能なヒューマノイド・ヒューマンインタラクションポリシを学習するためのフレームワークであるREACTを提案する。
ReACTは、セマンティックコンタクト構造を、処理、相互作用学習、およびオンボード制御の鍵となる監視信号として扱う。
シミュレーションおよび5つの接触豊富な相互作用における実ユニトリーG1ヒューマノイド上でのREACTの評価を行った。
- 参考スコア（独自算出の注目度）: 28.47124487926807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humanoid-human interaction requires robots to operate under severe partial observability: during close physical contact, the human partner is occluded, truncated, or outside the robot's field of view, causing pose estimation to fail and often necessitating external tracking or privileged human state. At the same time, heavy mutual occlusions introduce errors into the human-human motion-capture data used for learning. We present REACT, a framework for learning deployable humanoid-human interaction policies from human-human demonstrations. REACT treats semantic contact structure as the key supervisory signal connecting demonstration processing, interaction learning, and onboard control. First, a VLM-guided contact modeling and retargeting pipeline identifies semantically meaningful contacts and transfers them onto humanoid-human geometry while preserving interaction structure. Using these annotations, privileged interaction policies learn physically grounded behaviors through interaction-aware contact rewards and are then distilled into deployable egocentric depth policies trained entirely from onboard sensing using photorealistic human depth rendering. To address severe partial observability, we introduce generative partner-state modeling objectives that predict partner motion from occluded egocentric views. We evaluate REACT in simulation and on a real Unitree G1 humanoid across five contact-rich interactions. Semantic contact modeling substantially improves preservation of demonstrated interactions, while generative partner-state modeling improves contact recall on four of five interactions, most under heavy occlusion. On real hardware, REACT performs all five interactions using onboard sensing alone.
- Abstract（参考訳）: 密接な物理的接触の間、人間のパートナーはロボットの視野の外に閉じ込められ、ポーズ推定が失敗し、しばしば外的追跡や特権的な人間の状態を必要とする。
同時に、重度の相互閉塞は、学習に使用される人間と人間のモーションキャプチャーデータに誤りをもたらす。
本稿では,人間-人間の実証から展開可能なヒューマノイド-ヒューマンインタラクションポリシーを学習するためのフレームワークであるREACTを提案する。
REACTは、セマンティックコンタクト構造を、デモンストレーション処理、インタラクション学習、オンボード制御を接続するキースーパーバイザリー信号として扱う。
第一に、VLM誘導の接触モデリングと再ターゲティングパイプラインは、意味的に意味のある接触を識別し、相互作用構造を保ちながら人間-ヒトの幾何学に転送する。
これらのアノテーションを用いて、特権的な相互作用ポリシーは、相互作用を意識した接触報酬を通じて物理的に根拠付けられた行動を学び、その後、光リアルな人間の深度レンダリングを使用して、オンボードセンシングから完全に訓練されたデプロイ可能なエゴセントリックな深度ポリシーに蒸留される。
厳密な部分的可観測性に対処するために、自我中心の視点からパートナーの動きを予測する、生成的パートナー状態モデリングの目的を導入する。
シミュレーションおよび5つの接触豊富な相互作用における実ユニトリーG1ヒューマノイド上でのREACTの評価を行った。
意味的接触モデリングは、実証された相互作用の保存を大幅に改善する一方、生成的パートナー状態モデリングは5つの相互作用のうち4つの相互作用の接触リコールを改善する。
実際のハードウェアでは、REACTはオンボードセンシングだけで5つのインタラクションを実行する。
関連論文リスト
- OmniInteract: Towards Unified Whole-Body Interaction Control for Dual Humanoids [60.20345110142214]
物理的相互作用は人体全体の運動と正確な接触を必要とするヒューマノイドの協調の鍵となる能力である。
しかし,人間-ロボット間の相互作用の学習は,(1)接触界面と空間的関係を妨害する,(2)協調学習のモータースキルとパートナーコーディネーションにより,相互作用の多様性が増大するにつれて制御の忠実性を維持することが困難になる,という2つの大きな課題に直面している。
我々は、表面認識モデリングとスケーラブルな残留ポリシー学習を通じて、これらの課題に対処するOmniInteractを提案する。
論文 参考訳（メタデータ） (2026-10-19T09:03:55Z) - HIGenNTO: Scalable Humanoid Interaction Generation via Noise-Space Trajectory Optimization [20.181113523841386]
本稿では,ヒューマノイドとシーンのインタラクション・モーション・リファレンスを合成するフレームワークHIGenNTOについて述べる。
ロボット環境とロボット対象タスク全体にわたって、HIGenNTOはトラッキングポリシによって実行可能な動作を生成する。
これらのポリシーをUnitree G1上に4つのコンタクト豊富なタスクにデプロイします。
論文 参考訳（メタデータ） (2026-09-18T21:52:56Z) - GNOCHI: Generative Neural mOdel for Close Human-Human Interactions [7.759879304243429]
本稿では,条件付き変分オートエンコーダ(cVAE)を用いた近接3次元人間-人間のインタラクションのための新しい生成モデルを提案する。
我々は、データ不足と衝突認識という、人間と人間の相互作用の分野での2つの長年の課題に対処する。
我々は、現在の最先端手法では生成できない、多種多様なプラウチブルで物理的に正しい相互作用を実証する。
論文 参考訳（メタデータ） (2026-07-11T17:19:32Z) - SocialMirror: Reconstructing 3D Human Interaction Behaviors from Monocular Videos with Semantic and Geometric Guidance [49.69016078147708]
密接な相互作用シナリオにおける人間の行動の正確な再構築は、拡張現実における現実的な仮想インタラクションの実現に不可欠である。
本稿では,これらの問題に効果的に対処するための意味的および幾何学的手がかりを統合する拡散ベースのフレームワークであるSocialMirrorを提案する。
SocialMirrorはインタラクティブなヒューマンメッシュを再構築する上で,最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-04-15T07:41:52Z) - Learning Whole-Body Human-Humanoid Interaction from Human-Human Demonstrations [63.80827184637476]
D-STAR(D-STAR)は,行動すべき場所から行動すべき場所を乱す階層的な政策である。
広範かつ厳密なシミュレーションを通じて、我々のフレームワークを検証する。
論文 参考訳（メタデータ） (2026-01-14T14:37:06Z) - OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction [76.44108003274955]
ヒューマノイドロボットの複雑なスキルを教えるための主要なパラダイムは、強化学習ポリシーの運動学的参照として人間の動きを再ターゲットすることである。
インタラクションメッシュに基づくインタラクション保存データ生成エンジンであるOmniRetargetを紹介する。
人間のメッシュとロボットメッシュの間のラプラシアの変形を最小限にすることで、OmniRetargetは運動学的に実現可能な軌道を生成する。
論文 参考訳（メタデータ） (2025-09-30T17:59:02Z) - COUCH: Towards Controllable Human-Chair Interactions [44.66450508317131]
物体上の異なる接触位置を条件としたシーン相互作用の合成問題について検討する。
手の接触認識制御信号を予測して動きを先導する新しい合成フレームワークCOUCHを提案する。
本手法は,既存の人間と物体の相互作用法に比べて,定量的,定性的な改善を示す。
論文 参考訳（メタデータ） (2022-05-01T19:14:22Z) - Learning Whole-Body Human-Robot Haptic Interaction in Social Contexts [11.879852629248981]
本稿では,全ロボット体上での全身触覚接触を含む人間とロボットの社会的相互作用を教えるためのLfD(Learning-from-demonstration)フレームワークを提案する。
既存のLfDフレームワークの性能は、高次元データ空間性のためにこのような相互作用に苦しむ。
この疎度を活用することで,有意な精度のペナルティを伴わずにデータ次元を削減できることを示し,それを実現するための3つの戦略を紹介した。
論文 参考訳（メタデータ） (2020-05-26T03:44:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。