論文の概要: Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes

• arxiv url: http://arxiv.org/abs/2211.11744v3
• Date: Fri, 24 Nov 2023 18:53:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 04:54:11.040565
• Title: Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes
• Title（参考訳）: visual dexterity: 新規および複雑な物体形状のインハンドリオリエンテーション
• Authors: Tao Chen, Megha Tippur, Siyang Wu, Vikash Kumar, Edward Adelson, Pulkit Agrawal
• Abstract要約: 多くの巧妙な操作を行うには、手動でオブジェクトの向きを変える必要がある。 このような仮定を行わない汎用オブジェクトリオリエンテーションコントローラを提案する。 シミュレーションにおいて強化学習を用いて学習し,新しい物体の形状を実世界で評価する。
• 参考スコア（独自算出の注目度）: 31.05016510558315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-hand object reorientation is necessary for performing many dexterous manipulation tasks, such as tool use in less structured environments that remain beyond the reach of current robots. Prior works built reorientation systems assuming one or many of the following: reorienting only specific objects with simple shapes, limited range of reorientation, slow or quasistatic manipulation, simulation-only results, the need for specialized and costly sensor suites, and other constraints which make the system infeasible for real-world deployment. We present a general object reorientation controller that does not make these assumptions. It uses readings from a single commodity depth camera to dynamically reorient complex and new object shapes by any rotation in real-time, with the median reorientation time being close to seven seconds. The controller is trained using reinforcement learning in simulation and evaluated in the real world on new object shapes not used for training, including the most challenging scenario of reorienting objects held in the air by a downward-facing hand that must counteract gravity during reorientation. Our hardware platform only uses open-source components that cost less than five thousand dollars. Although we demonstrate the ability to overcome assumptions in prior work, there is ample scope for improving absolute performance. For instance, the challenging duck-shaped object not used for training was dropped in 56 percent of the trials. When it was not dropped, our controller reoriented the object within 0.4 radians (23 degrees) 75 percent of the time. Videos are available at: https://taochenshh.github.io/projects/visual-dexterity.
• Abstract（参考訳）: 道具の使用など、現在のロボットの到達範囲を超えているあまり構造化されていない環境において、多くの巧妙な操作を行うためには、手動で物体の向きを変える必要がある。 従来の作業では、単純な形状で特定のオブジェクトのみを並べ替えること、遅いまたは準静的な操作の制限、シミュレーションのみの結果、特殊でコストのかかるセンサースイートの必要性、その他の制約により、実際の配置ではシステムが利用できないと仮定していた。 このような仮定を行わない汎用オブジェクトリオリエンテーションコントローラを提案する。 単一の商品の奥行きカメラからの読み出しを使って、動的にリオリエントされたコンプレックスと新しい物体の形をリアルタイムに回転させ、中央のリオリエンテーション時間は7秒近くになる。 このコントローラーは、シミュレーションで強化学習を用いて訓練され、訓練に使われていない新しい物体の形状について現実世界で評価される。 私たちのハードウェアプラットフォームは、500ドル未満のオープンソースコンポーネントのみを使用します。 事前の作業で仮定を克服する能力を示すが、絶対的なパフォーマンスを改善するための十分なスコープがある。 例えば、トレーニングに使用されない挑戦的なダック型の物体は、試験の56%で取り下げられた。 落下しなかった場合、制御器は0.4ラジアン(23度)の時間で75%の範囲で物体を方向転換しました。 ビデオは、https://taochenshh.github.io/projects/visual-dexterity.comで公開されている。

関連論文リスト

• Uncertainty-aware Active Learning of NeRF-based Object Models for Robot Manipulators using Visual and Re-orientation Actions [8.059133373836913]
  本稿では,ロボットが対象物の完全な3次元モデルを高速に学習し,不慣れな方向で操作できるアプローチを提案する。 我々は、部分的に構築されたNeRFモデルのアンサンブルを用いて、モデルの不確実性を定量化し、次の動作を決定する。 提案手法は, 部分的NeRFモデルにより対象物をいつ, どのように把握し, 再指向するかを判断し, 相互作用中に導入された不整合を補正するために, 対象のポーズを再推定する。
  論文  参考訳（メタデータ） (2024-04-02T10:15:06Z)
• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• CabiNet: Scaling Neural Collision Detection for Object Rearrangement with Procedural Scene Generation [54.68738348071891]
  私たちはまず、さまざまな日常環境において、650万以上の散らばったシーン(前よりも桁違いに多い)を生成します。 このデータから合成部分点雲をレンダリングし、それをCabiNetモデルアーキテクチャのトレーニングに使用します。 CabiNetは、オブジェクトとシーンポイントの雲を受け入れる衝突モデルである。
  論文  参考訳（メタデータ） (2023-04-18T21:09:55Z)
• DORT: Modeling Dynamic Objects in Recurrent for Multi-Camera 3D Object Detection and Tracking [67.34803048690428]
  本稿では、この問題を解決するためにRecurrenT(DORT)の動的オブジェクトをモデル化することを提案する。 DORTは、重い計算負担を軽減する動き推定のために、オブジェクトワイズローカルボリュームを抽出する。 フレキシブルで実用的で、ほとんどのカメラベースの3Dオブジェクト検出器に差し込むことができる。
  論文  参考訳（メタデータ） (2023-03-29T12:33:55Z)
• A Flexible-Frame-Rate Vision-Aided Inertial Object Tracking System for Mobile Devices [3.4836209951879957]
  本稿では,モバイルデバイス用フレキシブルフレームレートオブジェクトポーズ推定とトラッキングシステムを提案する。 高速トラッキングのためにクライアント側で慣性計測ユニット(IMU)ポーズ伝搬を行い、サーバ側でRGB画像ベースの3Dポーズ推定を行う。 我々のシステムは120FPSまでのフレキシブルフレームレートをサポートし、ローエンドデバイス上での高精度かつリアルタイムなトラッキングを保証する。
  論文  参考訳（メタデータ） (2022-10-22T15:26:50Z)
• Stable Object Reorientation using Contact Plane Registration [32.19425880216469]
  本稿では,条件付き生成モデルを用いて回転空間におけるマルチモーダリティのモデル化において重要な課題を克服することを提案する。 我々のシステムは,実世界深度カメラで捉えたノイズや部分的に観測された点雲観測から操作することができる。
  論文  参考訳（メタデータ） (2022-08-18T17:10:28Z)
• DiffSkill: Skill Abstraction from Differentiable Physics for Deformable Object Manipulations with Tools [96.38972082580294]
  DiffSkillは、変形可能なオブジェクト操作タスクを解決するために、スキル抽象化に微分可能な物理シミュレータを使用する新しいフレームワークである。 特に、勾配に基づくシミュレーターから個々のツールを用いて、まず短距離のスキルを得る。 次に、RGBD画像を入力として取り込む実演軌跡から、ニューラルネットワークの抽象体を学習する。
  論文  参考訳（メタデータ） (2022-03-31T17:59:38Z)
• Discovering Objects that Can Move [55.743225595012966]
  手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。 既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。 私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
  論文  参考訳（メタデータ） (2022-03-18T21:13:56Z)
• IFOR: Iterative Flow Minimization for Robotic Object Rearrangement [92.97142696891727]
  IFOR(Iterative Flow Minimization for Robotic Object Rearrangement)は、未知物体の物体再構成問題に対するエンドツーエンドの手法である。 本手法は,合成データのみを訓練しながら,散在するシーンや実世界に適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-01T20:03:56Z)
• A System for General In-Hand Object Re-Orientation [23.538271727475525]
  対象物を上向きと下向きの両方で並べ替えることを学ぶことができるモデルフリーフレームワークを提案する。 どちらの場合も2000以上の幾何学的に異なる物体を並べ替える能力を示す。
  論文  参考訳（メタデータ） (2021-11-04T17:47:39Z)
• Orienting Novel 3D Objects Using Self-Supervised Learning of Rotation Transforms [22.91890127146324]
  オブジェクト指向は、多くのパッキングやアセンブリタスクの自動化において重要なコンポーネントである。 我々は、四元数でパラメータ化された3次元回転を推定するために、ディープニューラルネットワークを訓練する。 次に、2つの深度画像間の推定回転に基づいて、トレーニングされたネットワークを比例制御器で再配置する。
  論文  参考訳（メタデータ） (2021-05-29T08:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。