論文の概要: InterMimic: Towards Universal Whole-Body Control for Physics-Based Human-Object Interactions

• arxiv url: http://arxiv.org/abs/2502.20390v1
• Date: Thu, 27 Feb 2025 18:59:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:55:50.351187
• Title: InterMimic: Towards Universal Whole-Body Control for Physics-Based Human-Object Interactions
• Title（参考訳）: InterMimic:物理に基づくヒューマン・オブジェクトインタラクションのためのユニバーサル・ホール・ボディ制御を目指して
• Authors: Sirui Xu, Hung Yu Ling, Yu-Xiong Wang, Liang-Yan Gui,
• Abstract要約: このフレームワークは、単一のポリシーで、何時間も不完全なMoCapデータからしっかりと学習することができる。 実験の結果,InterMimicは複数のHOIデータセットにまたがって,現実的で多様なインタラクションを生成できることがわかった。
• 参考スコア（独自算出の注目度）: 27.225777494300775
• License:
• Abstract: Achieving realistic simulations of humans interacting with a wide range of objects has long been a fundamental goal. Extending physics-based motion imitation to complex human-object interactions (HOIs) is challenging due to intricate human-object coupling, variability in object geometries, and artifacts in motion capture data, such as inaccurate contacts and limited hand detail. We introduce InterMimic, a framework that enables a single policy to robustly learn from hours of imperfect MoCap data covering diverse full-body interactions with dynamic and varied objects. Our key insight is to employ a curriculum strategy -- perfect first, then scale up. We first train subject-specific teacher policies to mimic, retarget, and refine motion capture data. Next, we distill these teachers into a student policy, with the teachers acting as online experts providing direct supervision, as well as high-quality references. Notably, we incorporate RL fine-tuning on the student policy to surpass mere demonstration replication and achieve higher-quality solutions. Our experiments demonstrate that InterMimic produces realistic and diverse interactions across multiple HOI datasets. The learned policy generalizes in a zero-shot manner and seamlessly integrates with kinematic generators, elevating the framework from mere imitation to generative modeling of complex human-object interactions.
• Abstract（参考訳）: 広範囲の物体と対話する人間の現実的なシミュレーションを実現することは、長い間、基本的な目標だった。 複雑な人-物体相互作用(HOI)への物理に基づく運動模倣の拡張は、複雑な人-物体のカップリング、物体のジオメトリーにおける可変性、不正確な接触や限られた手の詳細といったモーションキャプチャーデータのアーティファクトによって困難である。 InterMimicは、動的で多様なオブジェクトとの多様なフルボディインタラクションをカバーする、不完全なMoCapデータの時間から、単一のポリシーを堅牢に学習することを可能にするフレームワークである。 私たちの重要な洞察は、カリキュラム戦略を採用することです。 まず、被験者固有の教師ポリシーを訓練し、モーションキャプチャーデータの模倣、再ターゲティング、精巧化を行う。 次に、これらの教師を学生政策に融合させ、オンラインの専門家として直接監督し、高品質な参考資料を提示する。 特に、学生政策にRL微調整を取り入れて、単なる実演複製を超越し、高品質なソリューションを実現する。 実験の結果,InterMimicは複数のHOIデータセットにまたがって,現実的で多様なインタラクションを生成できることがわかった。 学習されたポリシーはゼロショット方式で一般化され、運動生成器とシームレスに統合され、単なる模倣から複雑な人間と物体の相互作用の生成的モデリングまでフレームワークが上昇する。

関連論文リスト

• InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
  我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。 私たちの重要な洞察は、大規模ビデオデータからインタラクティブなダイナミクスを学習することで、大きなビデオファンデーションモデルがニューラルと暗黙の物理シミュレータの両方として機能できるということです。
  論文  参考訳（メタデータ） (2024-12-16T13:57:02Z)
• CrowdMoGen: Zero-Shot Text-Driven Collective Motion Generation [44.9991846328409]
  群衆運動生成は、アニメーションやゲームなどのエンターテイメント産業や、都市シミュレーションや計画といった戦略的分野において不可欠である。 このフレームワークはLarge Language Model(LLM)のパワーを利用して、集合的なインテリジェンスをモーション生成フレームワークに組み込む。 本フレームワークは,(1)特定のシーン状況に応じた動きや動特性の調整を学習する群集シーンプランナ,(2)必要な集合運動を効率的に合成する集合モーションジェネレータの2つの重要な構成要素から構成される。
  論文  参考訳（メタデータ） (2024-07-08T17:59:36Z)
• Human-Object Interaction from Human-Level Instructions [17.10279738828331]
  本研究では、コンテキスト環境におけるオブジェクト操作のための人間とオブジェクトの相互作用を合成する最初の完全システムを提案する。 我々は大規模言語モデル(LLM)を利用して入力命令を詳細な実行計画に解釈する。 従来の作業とは異なり,本システムは全身運動とシームレスに協調して,詳細な指と物体の相互作用を生成できる。
  論文  参考訳（メタデータ） (2024-06-25T17:46:28Z)
• CooHOI: Learning Cooperative Human-Object Interaction with Manipulated Object Dynamics [44.30880626337739]
  CooHOIはマルチヒューマノイド物体輸送問題の解決を目的としたフレームワークである。 単一のヒューマノイドキャラクタは、人間の動きの先行から模倣学習を通じてオブジェクトと対話することを学ぶ。 そして、ヒューマノイドは、操作対象の共有ダイナミクスを考慮し、他人と協調することを学ぶ。
  論文  参考訳（メタデータ） (2024-06-20T17:59:22Z)
• Grasp Anything: Combining Teacher-Augmented Policy Gradient Learning with Instance Segmentation to Grasp Arbitrary Objects [18.342569823885864]
  TAPG(Teacher-Augmented Policy Gradient)は、強化学習と政策蒸留を統括する新しい2段階学習フレームワークである。 TAPGは、オブジェクトセグメンテーションに基づいて、誘導的かつ適応的でありながら、センセータポリシーの学習を促進する。 トレーニングされたポリシーは、シミュレーションにおける散らかったシナリオや、人間の理解可能なプロンプトに基づいて現実世界から、多種多様なオブジェクトを順応的に把握する。
  論文  参考訳（メタデータ） (2024-03-15T10:48:16Z)
• Controllable Human-Object Interaction Synthesis [77.56877961681462]
  本研究では,3次元シーンにおける同期物体の動きと人間の動きを生成するための制御可能な人間-物体相互作用合成(CHOIS)を提案する。 ここでは,高レベルな計画から効果的に抽出できるスタイルや意図を言語記述が通知し,シーン内の動きをグラウンド化する。 我々のモジュールは経路計画モジュールとシームレスに統合され、3D環境における長期的相互作用の生成を可能にします。
  論文  参考訳（メタデータ） (2023-12-06T21:14:20Z)
• Physically Plausible Full-Body Hand-Object Interaction Synthesis [32.83908152822006]
  そこで本研究では,全体で手-物体間相互作用を合成するための物理に基づく手法を提案する。 既存のメソッドは、しばしば相互作用プロセスの分離されたセグメントにフォーカスし、成果物をもたらす可能性のあるデータ駆動技術に依存します。
  論文  参考訳（メタデータ） (2023-09-14T17:55:18Z)
• Tachikuma: Understading Complex Interactions with Multi-Character and Novel Objects by Large Language Models [67.20964015591262]
  我々は,複数文字と新しいオブジェクトベースインタラクション推定タスクとサポートデータセットからなる,立久間というベンチマークを導入する。 このデータセットは、ゲームプレイ中のリアルタイム通信からログデータをキャプチャし、多様な、接地された複雑なインタラクションを提供して、さらなる探索を行う。 本稿では,対話理解の強化に有効であることを示すため,簡単なプロンプトベースラインを提案し,その性能評価を行う。
  論文  参考訳（メタデータ） (2023-07-24T07:40:59Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• Transformer Inertial Poser: Attention-based Real-time Human Motion Reconstruction from Sparse IMUs [79.72586714047199]
  本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。 提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
  論文  参考訳（メタデータ） (2022-03-29T16:24:52Z)
• iGibson, a Simulation Environment for Interactive Tasks in Large Realistic Scenes [54.04456391489063]
  iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。 私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。 iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
  論文  参考訳（メタデータ） (2020-12-05T02:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。