論文の概要: Planning Visual-Tactile Precision Grasps via Complementary Use of Vision and Touch

• arxiv url: http://arxiv.org/abs/2212.08604v1
• Date: Fri, 16 Dec 2022 17:32:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 15:05:26.771597
• Title: Planning Visual-Tactile Precision Grasps via Complementary Use of Vision and Touch
• Title（参考訳）: 視覚と触覚の相補的利用による視覚触覚精度把握の計画
• Authors: Martin Matak and Tucker Hermans
• Abstract要約: そこで本研究では,指先が対象物表面と接触すべき場所について,明確な理由を解明する手法を提案する。 提案手法の成功の鍵は,接触制約を符号化するための初期計画に視覚面推定を用いることである。 提案手法は,1つのカメラビューからの表面推定値を用いて,これまで見つからなかった物体に対して,精度の高いグリップを合成し,実行可能であることを示す。
• 参考スコア（独自算出の注目度）: 9.31776719215139
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliably planning fingertip grasps for multi-fingered hands lies as a key challenge for many tasks including tool use, insertion, and dexterous in-hand manipulation. This task becomes even more difficult when the robot lacks an accurate model of the object to be grasped. Tactile sensing offers a promising approach to account for uncertainties in object shape. However, current robotic hands tend to lack full tactile coverage. As such, a problem arises of how to plan and execute grasps for multi-fingered hands such that contact is made with the area covered by the tactile sensors. To address this issue, we propose an approach to grasp planning that explicitly reasons about where the fingertips should contact the estimated object surface while maximizing the probability of grasp success. Key to our method's success is the use of visual surface estimation for initial planning to encode the contact constraint. The robot then executes this plan using a tactile-feedback controller that enables the robot to adapt to online estimates of the object's surface to correct for errors in the initial plan. Importantly, the robot never explicitly integrates object pose or surface estimates between visual and tactile sensing, instead it uses the two modalities in complementary ways. Vision guides the robots motion prior to contact; touch updates the plan when contact occurs differently than predicted from vision. We show that our method successfully synthesises and executes precision grasps for previously unseen objects using surface estimates from a single camera view. Further, our approach outperforms a state of the art multi-fingered grasp planner, while also beating several baselines we propose.
• Abstract（参考訳）: 多指ハンドの指先グリップを確実に計画することは、ツールの使用、挿入、巧妙な手操作を含む多くのタスクにおいて重要な課題である。 この作業は、ロボットが把握すべき物体の正確なモデルが欠けている場合にさらに困難になる。 触覚センシングは、物体形状の不確実性を考慮するための有望なアプローチを提供する。 しかし、現在のロボットハンドは完全な触覚を欠いている。 このように、触覚センサでカバーされた領域と接触するように、マルチフィンガーハンドの把持を計画し実行する方法が問題となる。 この問題に対処するため,提案手法では,指先が推定対象面に接するべき場所を明確に把握し,把持成功の確率を最大化する手法を提案する。 本手法の成功の鍵は,接触制約を符号化するための初期計画に視覚面推定を用いることである。 ロボットは触覚フィードバックコントローラを使ってこの計画を実行し、ロボットは物体の表面のオンライン推定に適応して初期計画の誤りを訂正することができる。 重要なことに、ロボットは視覚と触覚のセンシングの間で物体のポーズや表面推定を明示的に統合することはない。 視覚は、接触前にロボットの動きを誘導し、タッチは、視覚から予測されるものとは異なる接触が発生したときに計画を更新する。 本手法は, 単一カメラからの表面推定値を用いて, 従来認識されていた物体の精度把握に成功していることを示す。 さらに,提案手法は,提案手法が提案する複数のベースラインを上回りながら,多指把持プランナーの状態を上回っている。

関連論文リスト

• Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
  マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。 以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
  論文  参考訳（メタデータ） (2024-04-25T17:59:41Z)
• PseudoTouch: Efficiently Imaging the Surface Feel of Objects for Robotic Manipulation [8.997347199266592]
  私たちの目標は、ロボットに同じような能力を持たせることです。 我々はこの問題を,低次元視覚触覚埋め込み学習のタスクとして捉えている。 ReSkinを使って、アライメントされた触覚と視覚データペアからなるデータセット上でPseudoTouchを収集し、トレーニングします。 我々はPseudoTouchの有効性を、物体認識と把握安定性予測という2つの下流タスクに適用することで実証する。
  論文  参考訳（メタデータ） (2024-03-22T10:51:31Z)
• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• Tactile Estimation of Extrinsic Contact Patch for Stable Placement [64.06243248525823]
  本稿では,複雑な物体を積み重ねることを学ぶロボットのためのフィードバックスキルの設計について述べる。 つかんだ物体とその環境間の接触パッチを,力と触覚の観測により推定する。
  論文  参考訳（メタデータ） (2023-09-25T21:51:48Z)
• Attention for Robot Touch: Tactile Saliency Prediction for Robust Sim-to-Real Tactile Control [12.302685367517718]
  高解像度触覚センサーは、接触に富むロボットタスクにおける局所的な接触に関する情報を正確に提供することができる。 我々は,神経科学の人間のタッチアテンション機構にヒントを得た,ロボットタッチのためのテクスティタクティル・サリエンシ(textittactile saliency)という新しい概念を研究した。
  論文  参考訳（メタデータ） (2023-07-26T21:19:45Z)
• Dexterity from Touch: Self-Supervised Pre-Training of Tactile Representations with Robotic Play [15.780086627089885]
  T-Dexは、触覚に基づくデキスタリティの新しいアプローチで、2つのフェーズで動作する。 第1フェーズでは、2.5時間のプレイデータを収集し、自動教師付き触覚エンコーダの訓練に使用する。 第2段階では, 触覚観察と視覚的観察を組み合わせた非パラメトリックな政策を学習する。
  論文  参考訳（メタデータ） (2023-03-21T17:59:20Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Semi-Supervised Disentanglement of Tactile Contact~Geometry from Sliding-Induced Shear [12.004939546183355]
  触覚は人間の器用さに根ざしている。 ロボットタッチ、特にソフトな光触覚センサーで模倣すると、動きに依存したせん断による歪みに悩まされる。 本研究では,接触情報のみを保存しながらせん断を除去する半教師付き手法を提案する。
  論文  参考訳（メタデータ） (2022-08-26T08:30:19Z)
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
  本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。 我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。 この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-09-09T16:04:14Z)
• Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning [52.37106940303246]
  ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。 モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
  論文  参考訳（メタデータ） (2020-08-07T17:34:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。