論文の概要: Scene Editing as Teleoperation: A Case Study in 6DoF Kit Assembly

• arxiv url: http://arxiv.org/abs/2110.04450v1
• Date: Sat, 9 Oct 2021 04:22:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 15:18:28.169616
• Title: Scene Editing as Teleoperation: A Case Study in 6DoF Kit Assembly
• Title（参考訳）: 遠隔操作によるシーン編集 : 6DoF Kit Assembly を事例として
• Authors: Shubham Agrawal, Yulong Li, Jen-Shuo Liu, Steven K. Feiner, Shuran Song
• Abstract要約: 遠隔操作によるシーン編集(SEaT)の枠組みを提案する。 ロボットを制御する代わりに、ユーザーはタスクのゴールを指定することに集中する。 ユーザは、ロボットハードウェアの専門知識を必要とせずに遠隔操作を行うことができる。
• 参考スコア（独自算出の注目度）: 18.563562557565483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Studies in robot teleoperation have been centered around action specifications -- from continuous joint control to discrete end-effector pose control. However, these robot-centric interfaces often require skilled operators with extensive robotics expertise. To make teleoperation accessible to non-expert users, we propose the framework "Scene Editing as Teleoperation" (SEaT), where the key idea is to transform the traditional "robot-centric" interface into a "scene-centric" interface -- instead of controlling the robot, users focus on specifying the task's goal by manipulating digital twins of the real-world objects. As a result, a user can perform teleoperation without any expert knowledge of the robot hardware. To achieve this goal, we utilize a category-agnostic scene-completion algorithm that translates the real-world workspace (with unknown objects) into a manipulable virtual scene representation and an action-snapping algorithm that refines the user input before generating the robot's action plan. To train the algorithms, we procedurally generated a large-scale, diverse kit-assembly dataset that contains object-kit pairs that mimic real-world object-kitting tasks. Our experiments in simulation and on a real-world system demonstrate that our framework improves both the efficiency and success rate for 6DoF kit-assembly tasks. A user study demonstrates that SEaT framework participants achieve a higher task success rate and report a lower subjective workload compared to an alternative robot-centric interface. Video can be found at https://www.youtube.com/watch?v=-NdR3mkPbQQ .
• Abstract（参考訳）: ロボット遠隔操作の研究は、連続的なジョイントコントロールから離散的なエンドエフェクターポーズ制御まで、アクション仕様を中心に行われている。 しかし、これらのロボット中心のインターフェイスは、しばしば高度なロボット工学の専門知識を持つ熟練したオペレーターを必要とする。 従来の"ロボット中心"インターフェースを"シーン中心"インターフェースに転換する,すなわち,ロボットを制御する代わりに,現実世界のオブジェクトのデジタルツインを操作することで,タスクの目標を特定することに注力する,という考え方だ。 これにより、ロボットハードウェアの専門知識を必要とせずに遠隔操作を行うことができる。 この目的を達成するために,実世界の作業空間(未知のオブジェクトを含む)を操作可能な仮想シーン表現に変換するカテゴリ非依存シーン補完アルゴリズムと,ロボットの行動計画を生成する前にユーザ入力を洗練するアクションスナップアルゴリズムを用いる。 アルゴリズムを訓練するために、私たちは、現実世界のオブジェクトキッティングタスクを模倣するオブジェクトキットペアを含む大規模で多様なキットアセンブリデータセットを手続き的に生成しました。 シミュレーションおよび実世界のシステムを用いた実験により、6DoF キット組立作業の効率性と成功率の向上が示された。 ユーザ調査の結果,シートフレームワークの参加者は,ロボット中心のインターフェースよりも高いタスク成功率を達成し,主観的な作業負荷が低くなることが示された。 ビデオはhttps://www.youtube.com/watch? v=-NdR3mkPbQQ。

関連論文リスト

• Zero-Cost Whole-Body Teleoperation for Mobile Manipulation [8.71539730969424]
  MoMa-Teleopは、ベースモーションを強化学習エージェントに委譲する新しい遠隔操作手法である。 提案手法は,様々なロボットやタスクに対して,タスク完了時間が大幅に短縮されることを実証する。
  論文  参考訳（メタデータ） (2024-09-23T15:09:45Z)
• CtRNet-X: Camera-to-Robot Pose Estimation in Real-world Conditions Using a Single Camera [18.971816395021488]
  マーカーレスポーズ推定手法は、カメラとロボットのキャリブレーションに時間を要する物理的な設定を不要にしている。 部分的に見えるロボットマニピュレータでロボットのポーズを推定できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-16T16:22:43Z)
• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• Open-TeleVision: Teleoperation with Immersive Active Visual Feedback [17.505318269362512]
  Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。 このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。 本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
  論文  参考訳（メタデータ） (2024-07-01T17:55:35Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• What Matters to You? Towards Visual Representation Alignment for Robot Learning [81.30964736676103]
  人のために運用する場合、ロボットはエンドユーザーの好みに合わせて報酬を最適化する必要がある。 本稿では、視覚的表現アライメント問題を解決するためのRAPL(Representation-Aligned Preference-based Learning)を提案する。
  論文  参考訳（メタデータ） (2023-10-11T23:04:07Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• Can Foundation Models Perform Zero-Shot Task Specification For Robot Manipulation? [54.442692221567796]
  タスク仕様は、熟練していないエンドユーザの関与とパーソナライズされたロボットの採用に不可欠である。 タスク仕様に対する広く研究されているアプローチは、目標を通じて、コンパクトな状態ベクトルまたは同じロボットシーンのゴールイメージを使用することである。 そこで本研究では,人間の指定や使用が容易な目標仕様の代替的,より汎用的な形式について検討する。
  論文  参考訳（メタデータ） (2022-04-23T19:39:49Z)
• iRoPro: An interactive Robot Programming Framework [2.7651063843287718]
  iRoProを使うと、技術的背景がほとんど、あるいは全くないユーザーが、ロボットに新しい再利用可能なアクションを教えることができる。 バクスター研究ロボット上で,iRoProをエンドツーエンドシステムとして実装する。
  論文  参考訳（メタデータ） (2021-12-08T13:53:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。