論文の概要: MoVEInt: Mixture of Variational Experts for Learning Human-Robot Interactions from Demonstrations
- arxiv url: http://arxiv.org/abs/2407.07636v2
- Date: Sun, 13 Oct 2024 18:57:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 22:40:08.327080
- Title: MoVEInt: Mixture of Variational Experts for Learning Human-Robot Interactions from Demonstrations
- Title（参考訳）: MoVEInt:デモから人間とロボットのインタラクションを学ぶための変分専門家の混在
- Authors: Vignesh Prasad, Alap Kshirsagar, Dorothea Koert, Ruth Stock-Homburg, Jan Peters, Georgia Chalvatzaki,
- Abstract要約: 我々は,人間-ロボットインタラクション(HRI)のための共有潜在空間表現学習のための新しいアプローチを提案する。
本研究では,情報的潜在空間を用いて,ロボットの動きを正規化するための変分オートエンコーダ(VAE)を訓練する。
VAEにおける人間の観察に先立って情報的MDNを使用するアプローチは,より正確なロボットの動きを生成する。
- 参考スコア（独自算出の注目度）: 19.184155232662995
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Shared dynamics models are important for capturing the complexity and variability inherent in Human-Robot Interaction (HRI). Therefore, learning such shared dynamics models can enhance coordination and adaptability to enable successful reactive interactions with a human partner. In this work, we propose a novel approach for learning a shared latent space representation for HRIs from demonstrations in a Mixture of Experts fashion for reactively generating robot actions from human observations. We train a Variational Autoencoder (VAE) to learn robot motions regularized using an informative latent space prior that captures the multimodality of the human observations via a Mixture Density Network (MDN). We show how our formulation derives from a Gaussian Mixture Regression formulation that is typically used approaches for learning HRI from demonstrations such as using an HMM/GMM for learning a joint distribution over the actions of the human and the robot. We further incorporate an additional regularization to prevent "mode collapse", a common phenomenon when using latent space mixture models with VAEs. We find that our approach of using an informative MDN prior from human observations for a VAE generates more accurate robot motions compared to previous HMM-based or recurrent approaches of learning shared latent representations, which we validate on various HRI datasets involving interactions such as handshakes, fistbumps, waving, and handovers. Further experiments in a real-world human-to-robot handover scenario show the efficacy of our approach for generating successful interactions with four different human interaction partners.
- Abstract（参考訳）: 共有力学モデルは、人間-ロボットインタラクション(HRI)に固有の複雑さと可変性を捉える上で重要である。
したがって、そのような共有力学モデルを学ぶことで、協調性と適応性が向上し、人間のパートナーとの反応的な相互作用を成功させることができる。
本研究では,人間の観察からロボットの動作を反応的に生成するための実験から,HRIの空間表現を学習するための新しい手法を提案する。
本研究では,Mixture Density Network (MDN) を用いて,人間の観察のマルチモーダル性を捉えるために,情報的潜在空間を用いて正規化されたロボットの動きを学習するために,変分オートエンコーダ (VAE) を訓練する。
本研究では,HMM/GMMを用いたヒトとロボットの動作に関する共同分布の学習などの実演からHRIを学習するための手法として一般的に用いられているガウス混合回帰定式化から,我々の定式化が導かれることを示す。
さらに,VAEを用いた潜在空間混合モデルを用いた場合の共通現象である「モード崩壊」を防止するために,さらなる正規化も導入する。
人間の観察からVAEに先立って情報的MDNを使用するアプローチは,従来のHMMに基づく,あるいは繰り返し発生する遅延表現の学習手法と比較して,より正確なロボット動作を生成することが確認された。
実世界の人間とロボットのハンドオーバシナリオにおけるさらなる実験は、我々のアプローチが4つの異なるヒューマンインタラクションパートナーとの対話を成功させるために有効であることを示す。
関連論文リスト
- Experimental Evaluation of ROS-Causal in Real-World Human-Robot Spatial Interaction Scenarios [3.8625803348911774]
ロボット空間相互作用における因果発見のためのROSベースのフレームワークであるROS-Causalの実験的検討を行った。
データ収集中にロボットが因果モデルを直接抽出する方法を示す。
シミュレーションから生成されたオンライン因果関係モデルは、実験結果と一致している。
論文 参考訳（メタデータ） (2024-06-07T14:20:30Z) - Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。
人体全体の動きや部分レベルの物体の動きを複雑に捉えます。
本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
論文 参考訳（メタデータ） (2024-03-13T15:45:04Z) - Multi-Agent Dynamic Relational Reasoning for Social Robot Navigation [55.65482030032804]
社会ロボットナビゲーションは、日常生活の様々な状況において有用であるが、安全な人間とロボットの相互作用と効率的な軌道計画が必要である。
本稿では, 動的に進化する関係構造を明示的に推論した系統的関係推論手法を提案する。
提案手法は,軌道予測器が将来の状態を生成するために使用する関係の進化を捉えるために,動的に進化する関係グラフとハイパーグラフを推論する。
論文 参考訳（メタデータ） (2024-01-22T18:58:22Z) - Learning Multimodal Latent Dynamics for Human-Robot Interaction [19.803547418450236]
本稿では,ヒト-ヒトインタラクション(HHI)から協調型人間-ロボットインタラクション(HRI)を学習する方法を提案する。
本研究では,隠れマルコフモデル(HMM)を変分オートエンコーダの潜在空間として用いて,相互作用するエージェントの結合分布をモデル化するハイブリッドアプローチを考案する。
ユーザが私たちのメソッドを,より人間らしく,タイムリーで,正確なものと認識し,他のベースラインよりも高い優先度でメソッドをランク付けすることが分かりました。
論文 参考訳（メタデータ） (2023-11-27T23:56:59Z) - InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。
そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
論文 参考訳（メタデータ） (2023-11-27T14:32:33Z) - Visual Affordance Prediction for Guiding Robot Exploration [56.17795036091848]
我々は,ロボット探索を導くための視覚能力の学習手法を開発した。
VQ-VAEの潜伏埋め込み空間における条件分布の学習にはTransformerベースのモデルを用いる。
本稿では,ロボット操作における視覚的目標条件付きポリシー学習において,目標サンプリング分布として機能することで探索を導くために,トレーニングされた余裕モデルをどのように利用できるかを示す。
論文 参考訳（メタデータ） (2023-05-28T17:53:09Z) - MILD: Multimodal Interactive Latent Dynamics for Learning Human-Robot
Interaction [34.978017200500005]
我々は,HRI(Human-Robot Interactions)の問題に対処するために,MILD(Multimodal Interactive Latent Dynamics)を提案する。
変分オートエンコーダ(VAE)の潜時空間における相互作用エージェントの結合分布をモデル化するために,Hidden Semi-Markov Models (HSMMs) を用いて実演から相互作用ダイナミクスを学習する。
MILDは、観察されたエージェント(人間の)軌道に条件付けされたときに、制御されたエージェント(ロボット)に対してより正確な軌道を生成する。
論文 参考訳（メタデータ） (2022-10-22T11:25:11Z) - Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。
本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。
我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
論文 参考訳（メタデータ） (2020-07-07T17:19:56Z) - Learning Whole-Body Human-Robot Haptic Interaction in Social Contexts [11.879852629248981]
本稿では,全ロボット体上での全身触覚接触を含む人間とロボットの社会的相互作用を教えるためのLfD(Learning-from-demonstration)フレームワークを提案する。
既存のLfDフレームワークの性能は、高次元データ空間性のためにこのような相互作用に苦しむ。
この疎度を活用することで,有意な精度のペナルティを伴わずにデータ次元を削減できることを示し,それを実現するための3つの戦略を紹介した。
論文 参考訳（メタデータ） (2020-05-26T03:44:09Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳（メタデータ） (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。