論文の概要: CooHOI: Learning Cooperative Human-Object Interaction with Manipulated Object Dynamics
- arxiv url: http://arxiv.org/abs/2406.14558v3
- Date: Wed, 30 Oct 2024 02:58:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:22:30.633502
- Title: CooHOI: Learning Cooperative Human-Object Interaction with Manipulated Object Dynamics
- Title（参考訳）: Coohoi: 操作対象ダイナミクスを用いた協調的オブジェクトインタラクションの学習
- Authors: Jiawei Gao, Ziqin Wang, Zeqi Xiao, Jingbo Wang, Tai Wang, Jinkun Cao, Xiaolin Hu, Si Liu, Jifeng Dai, Jiangmiao Pang,
- Abstract要約: CooHOIはマルチヒューマノイド物体輸送問題の解決を目的としたフレームワークである。
単一のヒューマノイドキャラクタは、人間の動きの先行から模倣学習を通じてオブジェクトと対話することを学ぶ。
そして、ヒューマノイドは、操作対象の共有ダイナミクスを考慮し、他人と協調することを学ぶ。
- 参考スコア（独自算出の注目度）: 44.30880626337739
- License:
- Abstract: Enabling humanoid robots to clean rooms has long been a pursued dream within humanoid research communities. However, many tasks require multi-humanoid collaboration, such as carrying large and heavy furniture together. Given the scarcity of motion capture data on multi-humanoid collaboration and the efficiency challenges associated with multi-agent learning, these tasks cannot be straightforwardly addressed using training paradigms designed for single-agent scenarios. In this paper, we introduce Cooperative Human-Object Interaction (CooHOI), a framework designed to tackle the challenge of multi-humanoid object transportation problem through a two-phase learning paradigm: individual skill learning and subsequent policy transfer. First, a single humanoid character learns to interact with objects through imitation learning from human motion priors. Then, the humanoid learns to collaborate with others by considering the shared dynamics of the manipulated object using centralized training and decentralized execution (CTDE) multi-agent RL algorithms. When one agent interacts with the object, resulting in specific object dynamics changes, the other agents learn to respond appropriately, thereby achieving implicit communication and coordination between teammates. Unlike previous approaches that relied on tracking-based methods for multi-humanoid HOI, CooHOI is inherently efficient, does not depend on motion capture data of multi-humanoid interactions, and can be seamlessly extended to include more participants and a wide range of object types.
- Abstract（参考訳）: 部屋を掃除するヒューマノイドロボットは、長い間、ヒューマノイド研究コミュニティの中で追われてきた夢だった。
しかし、大きな家具と重い家具を一緒に運ぶなど、多くのタスクは多人数の協力を必要とする。
マルチエージェント・コラボレーションにおけるモーションキャプチャーデータの不足とマルチエージェント・ラーニングに関連する効率上の課題を考えると、これらのタスクは単一エージェント・シナリオ用に設計された訓練パラダイムを用いて簡単に対処することはできない。
本稿では,2段階学習パラダイム(個別スキル学習とその後の政策伝達)を通じて,多目的物体の輸送問題に取り組むためのフレームワークであるCooHOIを紹介する。
まず、単一のヒューマノイドキャラクタが、人間の動きの先行から模倣学習を通じてオブジェクトと対話することを学ぶ。
次に、ヒューマノイドは、集中トレーニングと分散実行(CTDE)マルチエージェントRLアルゴリズムを用いて、操作対象の共有ダイナミクスを考慮し、他者と協調することを学ぶ。
あるエージェントがオブジェクトと対話し、特定のオブジェクトのダイナミクスが変化すると、他のエージェントは適切な応答を学習し、暗黙のコミュニケーションとチームメイト間の調整を行う。
従来のマルチヒューマノイドHOIのトラッキングに基づく手法とは異なり、CooHOIは本質的に効率的であり、マルチヒューマノイド相互作用のモーションキャプチャーデータに依存しず、より多くの参加者と幅広いオブジェクトタイプを含むようにシームレスに拡張できる。
関連論文リスト
- Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。
本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
論文 参考訳（メタデータ） (2024-10-15T07:35:51Z) - in2IN: Leveraging individual Information to Generate Human INteractions [29.495166514135295]
In2IN(in2IN)は、人間と人間の動作生成を個別に記述した新しい拡散モデルである。
In2INで生成された動きと、HumanML3Dで事前訓練された1人の動きによって生成された動きとを組み合わせたモデル合成手法であるDualMDMを提案する。
論文 参考訳（メタデータ） (2024-04-15T17:59:04Z) - Learning Multimodal Latent Dynamics for Human-Robot Interaction [19.803547418450236]
本稿では,ヒト-ヒトインタラクション(HHI)から協調型人間-ロボットインタラクション(HRI)を学習する方法を提案する。
本研究では,隠れマルコフモデル(HMM)を変分オートエンコーダの潜在空間として用いて,相互作用するエージェントの結合分布をモデル化するハイブリッドアプローチを考案する。
ユーザが私たちのメソッドを,より人間らしく,タイムリーで,正確なものと認識し,他のベースラインよりも高い優先度でメソッドをランク付けすることが分かりました。
論文 参考訳（メタデータ） (2023-11-27T23:56:59Z) - InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。
そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
論文 参考訳（メタデータ） (2023-11-27T14:32:33Z) - Object Motion Guided Human Motion Synthesis [22.08240141115053]
大規模物体の操作におけるフルボディ人体動作合成の問題点について検討する。
条件付き拡散フレームワークであるOMOMO(Object Motion Guided Human Motion synthesis)を提案する。
我々は、操作対象物にスマートフォンを装着するだけで、全身の人間の操作動作をキャプチャする新しいシステムを開発した。
論文 参考訳（メタデータ） (2023-09-28T08:22:00Z) - HODN: Disentangling Human-Object Feature for HOI Detection [51.48164941412871]
本稿では,Human and Object Disentangling Network (HODN) を提案し,Human-Object Interaction (HOI) の関係を明示的にモデル化する。
インタラクションに人間的特徴がより寄与していることを考慮し,インタラクションデコーダが人間中心の領域に焦点を当てていることを確認するためのヒューマンガイドリンク手法を提案する。
提案手法は,V-COCOとHICO-Det Linkingデータセットの競合性能を実現する。
論文 参考訳（メタデータ） (2023-08-20T04:12:50Z) - Task-Oriented Human-Object Interactions Generation with Implicit Neural
Representations [61.659439423703155]
TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
本手法は時間座標のみでパラメータ化される連続運動を生成する。
この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
論文 参考訳（メタデータ） (2023-03-23T09:31:56Z) - CLAS: Coordinating Multi-Robot Manipulation with Central Latent Action
Spaces [9.578169216444813]
本稿では,異なるエージェント間で共有される学習された潜在行動空間を通じて,マルチロボット操作を協調する手法を提案する。
シミュレーションされたマルチロボット操作タスクにおいて本手法を検証し,サンプル効率と学習性能の観点から,従来のベースラインよりも改善したことを示す。
論文 参考訳（メタデータ） (2022-11-28T23:20:47Z) - MILD: Multimodal Interactive Latent Dynamics for Learning Human-Robot
Interaction [34.978017200500005]
我々は,HRI(Human-Robot Interactions)の問題に対処するために,MILD(Multimodal Interactive Latent Dynamics)を提案する。
変分オートエンコーダ(VAE)の潜時空間における相互作用エージェントの結合分布をモデル化するために,Hidden Semi-Markov Models (HSMMs) を用いて実演から相互作用ダイナミクスを学習する。
MILDは、観察されたエージェント(人間の)軌道に条件付けされたときに、制御されたエージェント(ロボット)に対してより正確な軌道を生成する。
論文 参考訳（メタデータ） (2022-10-22T11:25:11Z) - LEMMA: A Multi-view Dataset for Learning Multi-agent Multi-task
Activities [119.88381048477854]
LEMMAデータセットを導入し、細心の注意深い設定で、行方不明な次元に対処するための単一の家を提供する。
我々は、人間と物体の相互作用による原子間相互作用を密に注釈し、日常の活動の構成性、スケジューリング、割り当ての土台として提供する。
この取り組みにより、マシンビジョンコミュニティは、目標指向の人間活動を調べ、現実世界におけるタスクのスケジューリングと割り当てをさらに研究できることを期待します。
論文 参考訳（メタデータ） (2020-07-31T00:13:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。