論文の概要: A System for Traded Control Teleoperation of Manipulation Tasks using Intent Prediction from Hand Gestures

• arxiv url: http://arxiv.org/abs/2107.01829v1
• Date: Mon, 5 Jul 2021 07:37:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 14:47:20.083168
• Title: A System for Traded Control Teleoperation of Manipulation Tasks using Intent Prediction from Hand Gestures
• Title（参考訳）: 手指ジェスチャからの意図予測を用いた操作タスクの取引制御遠隔操作システム
• Authors: Yoojin Oh, Marc Toussaint, Jim Mainprice
• Abstract要約: 本稿では,ロボットの知覚と手の動きからの意図予測を含む遠隔操作システムを提案する。 知覚モジュールは、ロボットワークスペースに存在するオブジェクトと、ユーザが把握したいと思われるオブジェクトの意図予測モジュールを識別する。
• 参考スコア（独自算出の注目度）: 20.120263332724438
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper presents a teleoperation system that includes robot perception and intent prediction from hand gestures. The perception module identifies the objects present in the robot workspace and the intent prediction module which object the user likely wants to grasp. This architecture allows the approach to rely on traded control instead of direct control: we use hand gestures to specify the goal objects for a sequential manipulation task, the robot then autonomously generates a grasping or a retrieving motion using trajectory optimization. The perception module relies on the model-based tracker to precisely track the 6D pose of the objects and makes use of a state of the art learning-based object detection and segmentation method, to initialize the tracker by automatically detecting objects in the scene. Goal objects are identified from user hand gestures using a trained a multi-layer perceptron classifier. After presenting all the components of the system and their empirical evaluation, we present experimental results comparing our pipeline to a direct traded control approach (i.e., one that does not use prediction) which shows that using intent prediction allows to bring down the overall task execution time.
• Abstract（参考訳）: 本稿では,ロボットの認識と意図予測を含む遠隔操作システムを提案する。 知覚モジュールは、ロボットワークスペースに存在するオブジェクトと、ユーザが把握したいと思われるオブジェクトの意図予測モジュールを識別する。 このアーキテクチャでは、直接制御ではなく、トレードされた制御に頼ることができる。我々は、手動ジェスチャーを使用して、逐次操作タスクの目標オブジェクトを指定し、ロボットは、軌道最適化を用いて、グリーピングまたは検索動作を自律的に生成する。 知覚モジュールは、オブジェクトの6Dポーズを正確に追跡するためにモデルベースのトラッカーに依存し、美術学習に基づくオブジェクト検出とセグメンテーション手法の状態を利用して、シーン内のオブジェクトを自動的に検出することでトラッカーを初期化する。 トレーニングされた多層パーセプトロン分類器を使用して、ユーザーハンドジェスチャからゴールオブジェクトを識別する。 システムのすべてのコンポーネントとその経験的評価を提示した後、我々のパイプラインを直接取引制御アプローチ(すなわち、予測を使わないもの)と比較し、意図的予測を使用することで、全体のタスク実行時間を短縮できることを示す実験結果を示す。

関連論文リスト

• Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
  アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。 従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。 本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:59:56Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• SeMoLi: What Moves Together Belongs Together [51.72754014130369]
  動作手がかりに基づく半教師付き物体検出に挑戦する。 近年,移動物体の擬似ラベルインスタンスに対して,動きに基づくクラスタリング手法が適用可能であることが示唆された。 我々は、このアプローチを再考し、オブジェクト検出とモーションインスパイアされた擬似ラベルの両方が、データ駆動方式で取り組めることを示唆する。
  論文  参考訳（メタデータ） (2024-02-29T18:54:53Z)
• Intention estimation from gaze and motion features for human-robot shared-control object manipulation [1.128708201885454]
  共有制御は、ユーザの意図の実行を支援することで、遠隔操作のオブジェクト操作を支援する。 自然な視線と運動特徴を用いて現在の動作と対象対象物を予測する意図推定フレームワークを提示する。
  論文  参考訳（メタデータ） (2022-08-18T07:53:19Z)
• Object Manipulation via Visual Target Localization [64.05939029132394]
  オブジェクトを操作するための訓練エージェントは、多くの課題を提起します。 本研究では,対象物体を探索する環境を探索し,位置が特定されると3次元座標を計算し,対象物が見えない場合でも3次元位置を推定する手法を提案する。 評価の結果,同じ感覚スイートにアクセス可能なモデルに比べて,成功率が3倍に向上したことが示された。
  論文  参考訳（メタデータ） (2022-03-15T17:59:01Z)
• Task-Focused Few-Shot Object Detection for Robot Manipulation [1.8275108630751844]
  本研究では,検出のみに基づく操作手法を開発し,タスク中心の少数ショット検出を導入し,新しいオブジェクトや設定を学習する。 数ショット学習へのインタラクティブなアプローチの実験では、ロボットに検出からオブジェクトを直接操作するように訓練する(ClickBot)。
  論文  参考訳（メタデータ） (2022-01-28T21:52:05Z)
• Trajectory-based Reinforcement Learning of Non-prehensile Manipulation Skills for Semi-Autonomous Teleoperation [18.782289957834475]
  本稿では,RGB-Dセンサを用いたピックアップ・アンド・プレイスタスクのための半自律遠隔操作フレームワークを提案する。 トラジェクトリに基づく強化学習を用いて、非包括的操作を学習し、物体を再構成する。 提案手法は,握り時間の観点から手動キーボード制御よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-09-27T14:27:28Z)
• Neural Network Based Lidar Gesture Recognition for Realtime Robot Teleoperation [0.0]
  移動ロボット制御のための低複雑さライダージェスチャー認識システムを提案する。 このシステムは軽量で、限られた計算能力を持つ移動ロボット制御に適している。 ライダーの使用はシステムの堅牢性に寄与し、ほとんどの屋外環境での運用を可能にしている。
  論文  参考訳（メタデータ） (2021-09-17T00:49:31Z)
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
  本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。 我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。 この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-09-09T16:04:14Z)
• "What's This?" -- Learning to Segment Unknown Objects from Manipulation Sequences [27.915309216800125]
  本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。 本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。 我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
  論文  参考訳（メタデータ） (2020-11-06T10:55:28Z)
• Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives [89.34229413345541]
  本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-03-19T15:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。