論文の概要: Visual Dexterity: In-hand Dexterous Manipulation from Depth

• arxiv url: http://arxiv.org/abs/2211.11744v1
• Date: Mon, 21 Nov 2022 18:59:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 17:33:41.591142
• Title: Visual Dexterity: In-hand Dexterous Manipulation from Depth
• Title（参考訳）: 視覚的デキスタリティ:奥行きによる手動デキスタラスマニピュレーション
• Authors: Tao Chen, Megha Tippur, Siyang Wu, Vikash Kumar, Edward Adelson, Pulkit Agrawal
• Abstract要約: 多くの巧妙な操作を行うには、手動でオブジェクトの向きを変える必要がある。 本稿では,シミュレーションにおける強化学習を用いて学習し,実世界における評価を行う汎用物体配向制御器を提案する。
• 参考スコア（独自算出の注目度）: 19.86953177874633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-hand object reorientation is necessary for performing many dexterous manipulation tasks, such as tool use in unstructured environments that remain beyond the reach of current robots. Prior works built reorientation systems that assume one or many of the following specific circumstances: reorienting only specific objects with simple shapes, limited range of reorientation, slow or quasistatic manipulation, the need for specialized and costly sensor suites, simulation-only results, and other constraints which make the system infeasible for real-world deployment. We overcome these limitations and present a general object reorientation controller that is trained using reinforcement learning in simulation and evaluated in the real world. Our system uses readings from a single commodity depth camera to dynamically reorient complex objects by any amount in real time. The controller generalizes to novel objects not used during training. It is successful in the most challenging test: the ability to reorient objects in the air held by a downward-facing hand that must counteract gravity during reorientation. The results demonstrate that the policy transfer from simulation to the real world can be accomplished even for dynamic and contact-rich tasks. Lastly, our hardware only uses open-source components that cost less than five thousand dollars. Such construction makes it possible to replicate the work and democratize future research in dexterous manipulation. Videos are available at: https://taochenshh.github.io/projects/visual-dexterity.
• Abstract（参考訳）: ロボットの到達範囲を超えている非構造化環境でのツール使用など、多くのデクスターな操作を行うには、手作業でのオブジェクトのリオリエンテーションが必要となる。 単純な形状、限られた範囲のリオリエンテーション、遅いまたは準静的な操作、特殊でコストのかかるセンサースイートの必要性、シミュレーションのみの結果、そして実際のデプロイでは実現不可能な制約など、特定のオブジェクトのみのリオリエンテーションシステムを構築した。 これらの制約を克服し,実世界において強化学習を用いて学習し評価する汎用オブジェクトリオリエンテーション制御器を提案する。 本システムでは,単一商品の奥行きカメラからの読み出しを用いて,リアルタイムに複雑な物体を動的にリオリエントする。 コントローラはトレーニング中に使用されない新しいオブジェクトに一般化する。 これは最も難しいテストで成功し、空中の物体を下向きの手で保持する能力は、再配向中に重力に逆らわなければならない。 その結果,シミュレーションから実世界への政策伝達は,動的かつ接触に富むタスクにおいても達成可能であることが示された。 最後に、私たちのハードウェアは500ドル未満のオープンソースコンポーネントのみを使用します。 このような構成により、作品を複製し、デクスタース操作における将来の研究を民主化することができる。 ビデオは、https://taochenshh.github.io/projects/visual-dexterity.comで公開されている。

関連論文リスト

• Uncertainty-aware Active Learning of NeRF-based Object Models for Robot Manipulators using Visual and Re-orientation Actions [8.059133373836913]
  本稿では,ロボットが対象物の完全な3次元モデルを高速に学習し,不慣れな方向で操作できるアプローチを提案する。 我々は、部分的に構築されたNeRFモデルのアンサンブルを用いて、モデルの不確実性を定量化し、次の動作を決定する。 提案手法は, 部分的NeRFモデルにより対象物をいつ, どのように把握し, 再指向するかを判断し, 相互作用中に導入された不整合を補正するために, 対象のポーズを再推定する。
  論文  参考訳（メタデータ） (2024-04-02T10:15:06Z)
• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• CabiNet: Scaling Neural Collision Detection for Object Rearrangement with Procedural Scene Generation [54.68738348071891]
  私たちはまず、さまざまな日常環境において、650万以上の散らばったシーン(前よりも桁違いに多い)を生成します。 このデータから合成部分点雲をレンダリングし、それをCabiNetモデルアーキテクチャのトレーニングに使用します。 CabiNetは、オブジェクトとシーンポイントの雲を受け入れる衝突モデルである。
  論文  参考訳（メタデータ） (2023-04-18T21:09:55Z)
• DORT: Modeling Dynamic Objects in Recurrent for Multi-Camera 3D Object Detection and Tracking [67.34803048690428]
  本稿では、この問題を解決するためにRecurrenT(DORT)の動的オブジェクトをモデル化することを提案する。 DORTは、重い計算負担を軽減する動き推定のために、オブジェクトワイズローカルボリュームを抽出する。 フレキシブルで実用的で、ほとんどのカメラベースの3Dオブジェクト検出器に差し込むことができる。
  論文  参考訳（メタデータ） (2023-03-29T12:33:55Z)
• A Flexible-Frame-Rate Vision-Aided Inertial Object Tracking System for Mobile Devices [3.4836209951879957]
  本稿では,モバイルデバイス用フレキシブルフレームレートオブジェクトポーズ推定とトラッキングシステムを提案する。 高速トラッキングのためにクライアント側で慣性計測ユニット(IMU)ポーズ伝搬を行い、サーバ側でRGB画像ベースの3Dポーズ推定を行う。 我々のシステムは120FPSまでのフレキシブルフレームレートをサポートし、ローエンドデバイス上での高精度かつリアルタイムなトラッキングを保証する。
  論文  参考訳（メタデータ） (2022-10-22T15:26:50Z)
• Stable Object Reorientation using Contact Plane Registration [32.19425880216469]
  本稿では,条件付き生成モデルを用いて回転空間におけるマルチモーダリティのモデル化において重要な課題を克服することを提案する。 我々のシステムは,実世界深度カメラで捉えたノイズや部分的に観測された点雲観測から操作することができる。
  論文  参考訳（メタデータ） (2022-08-18T17:10:28Z)
• DiffSkill: Skill Abstraction from Differentiable Physics for Deformable Object Manipulations with Tools [96.38972082580294]
  DiffSkillは、変形可能なオブジェクト操作タスクを解決するために、スキル抽象化に微分可能な物理シミュレータを使用する新しいフレームワークである。 特に、勾配に基づくシミュレーターから個々のツールを用いて、まず短距離のスキルを得る。 次に、RGBD画像を入力として取り込む実演軌跡から、ニューラルネットワークの抽象体を学習する。
  論文  参考訳（メタデータ） (2022-03-31T17:59:38Z)
• Discovering Objects that Can Move [55.743225595012966]
  手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。 既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。 私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
  論文  参考訳（メタデータ） (2022-03-18T21:13:56Z)
• IFOR: Iterative Flow Minimization for Robotic Object Rearrangement [92.97142696891727]
  IFOR(Iterative Flow Minimization for Robotic Object Rearrangement)は、未知物体の物体再構成問題に対するエンドツーエンドの手法である。 本手法は,合成データのみを訓練しながら,散在するシーンや実世界に適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-01T20:03:56Z)
• A System for General In-Hand Object Re-Orientation [23.538271727475525]
  対象物を上向きと下向きの両方で並べ替えることを学ぶことができるモデルフリーフレームワークを提案する。 どちらの場合も2000以上の幾何学的に異なる物体を並べ替える能力を示す。
  論文  参考訳（メタデータ） (2021-11-04T17:47:39Z)
• Orienting Novel 3D Objects Using Self-Supervised Learning of Rotation Transforms [22.91890127146324]
  オブジェクト指向は、多くのパッキングやアセンブリタスクの自動化において重要なコンポーネントである。 我々は、四元数でパラメータ化された3次元回転を推定するために、ディープニューラルネットワークを訓練する。 次に、2つの深度画像間の推定回転に基づいて、トレーニングされたネットワークを比例制御器で再配置する。
  論文  参考訳（メタデータ） (2021-05-29T08:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。