論文の概要: When We First Met: Visual-Inertial Person Localization for Co-Robot
Rendezvous
- arxiv url: http://arxiv.org/abs/2006.09959v2
- Date: Tue, 3 Nov 2020 13:57:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 21:20:46.342209
- Title: When We First Met: Visual-Inertial Person Localization for Co-Robot
Rendezvous
- Title(参考訳): 初めて会った時: ロボットのランデブーのための視覚慣性人物のローカライズ
- Authors: Xi Sun, Xinshuo Weng and Kris Kitani
- Abstract要約: ウェアラブル慣性計測装置(IMU)によって測定された動きとビデオ中の人物の動きを容易に一致させることができる視覚慣性特徴空間の学習法を提案する。
提案手法は,IMUデータとビデオの5秒間のみを用いて,80.7%の精度で目標人物を正確に位置決めすることができる。
- 参考スコア(独自算出の注目度): 29.922954461039698
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We aim to enable robots to visually localize a target person through the aid
of an additional sensing modality -- the target person's 3D inertial
measurements. The need for such technology may arise when a robot is to meet
person in a crowd for the first time or when an autonomous vehicle must
rendezvous with a rider amongst a crowd without knowing the appearance of the
person in advance. A person's inertial information can be measured with a
wearable device such as a smart-phone and can be shared selectively with an
autonomous system during the rendezvous. We propose a method to learn a
visual-inertial feature space in which the motion of a person in video can be
easily matched to the motion measured by a wearable inertial measurement unit
(IMU). The transformation of the two modalities into the joint feature space is
learned through the use of a contrastive loss which forces inertial motion
features and video motion features generated by the same person to lie close in
the joint feature space. To validate our approach, we compose a dataset of over
60,000 video segments of moving people along with wearable IMU data. Our
experiments show that our proposed method is able to accurately localize a
target person with 80.7% accuracy using only 5 seconds of IMU data and video.
- Abstract(参考訳): 対象者の3d慣性測定を付加したセンサモダリティによって、ロボットが対象者を視覚的にローカライズすることを目指している。
このような技術の必要性は、ロボットが初めて群衆の中の人と会うことや、前方の人物の外観を知らずに、自動運転車が群衆の中でライダーと再会しなければならないときに生じる。
人の慣性情報は、スマートフォンなどのウェアラブルデバイスで測定することができ、ランデブー中に自律システムと選択的に共有することができる。
本稿では,映像中の人物の動きをウェアラブル慣性計測装置(IMU)によって測定された動きと容易に一致させることができる視覚慣性特徴空間の学習法を提案する。
2つのモードの関節特徴空間への変換は、同一人物が生成した慣性運動特徴と映像運動特徴とを強制して関節特徴空間に近接させるコントラスト損失を用いて学習される。
このアプローチを検証するために、我々は6万以上の動画セグメントのデータセットとウェアラブルIMUデータを作成します。
提案手法は,IMUデータとビデオの5秒間のみを用いて,80.7%の精度で対象者を正確に位置決めできることを示す。
関連論文リスト
- Social-Transmotion: Promptable Human Trajectory Prediction [70.59399670794171]
ソーシャルトランスモーション(Social-Transmotion)は、トランスフォーマーのパワーを利用して、多種多様な視覚的手がかりを扱う汎用モデルである。
提案手法は,JTA,JRDB,道路交通の歩行者・自転車,ETH-UCYなど,複数のデータセットで検証されている。
論文 参考訳(メタデータ) (2023-12-26T18:56:49Z) - QuestSim: Human Motion Tracking from Sparse Sensors with Simulated
Avatars [80.05743236282564]
人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。
本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。
一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
論文 参考訳(メタデータ) (2022-09-20T00:25:54Z) - Estimating 3D Motion and Forces of Human-Object Interactions from
Internet Videos [49.52070710518688]
一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。
本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
論文 参考訳(メタデータ) (2021-11-02T13:40:18Z) - Egocentric Human Trajectory Forecasting with a Wearable Camera and
Multi-Modal Fusion [24.149925005674145]
混雑した空間における自我中心型カメラ装着者(自我者)の軌道予測の問題に対処する。
異なるカメラ装着者のデータから得られた軌道予測能力は、視覚障害者のナビゲーションを支援するために転送することができる。
トランスフォーマーをベースとしたエンコーダ・デコーダニューラルネットワークモデルが,カメラ装着者の将来の軌道を予測するために,新しいカスケード型クロスアテンション機構と統合されている。
論文 参考訳(メタデータ) (2021-11-01T14:58:05Z) - Learning to Control Complex Robots Using High-Dimensional Interfaces:
Preliminary Insights [22.719193009150867]
7自由度ロボットアームを制御するための入力として、モーションセンサーで捉えた上半身の限られた動きを探索する。
密度の高いセンサ信号でさえ、信頼性の高い高次元ロボット制御に必要な健全な情報や独立性を欠いている可能性がある。
論文 参考訳(メタデータ) (2021-10-09T23:38:22Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳(メタデータ) (2021-04-08T20:01:00Z) - Self-Supervised Motion Retargeting with Safety Guarantee [12.325683599398564]
本研究では、人型ロボットのモーションキャプチャーデータやRGBビデオから自然な動きを生成できるデータ駆動モーション法を提案する。
本手法は、CMUモーションキャプチャデータベースとYouTubeビデオの両方から表現型ロボットモーションを生成することができる。
論文 参考訳(メタデータ) (2021-03-11T04:17:26Z) - Careful with That! Observation of Human Movements to Estimate Objects
Properties [106.925705883949]
我々は、物体の重さについての洞察を伝える人間の運動行動の特徴に焦点を当てる。
最後の目標は、ロボットがオブジェクトハンドリングに必要なケアの度合いを自律的に推測できるようにすることです。
論文 参考訳(メタデータ) (2021-03-02T08:14:56Z) - Perceiving Humans: from Monocular 3D Localization to Social Distancing [93.03056743850141]
本稿では,人間の3次元位置と身体の向きを1つの画像から知覚する,コスト効率の高い視覚ベースの新しい手法を提案する。
我々は,「社会的距離」という概念を,単純な位置に基づくルールとは対照的に,社会的相互作用の一形態として再考することが可能であることを示す。
論文 参考訳(メタデータ) (2020-09-01T10:12:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。