論文の概要: Deep Instance Segmentation and Visual Servoing to Play Jenga with a Cost-Effective Robotic System

• arxiv url: http://arxiv.org/abs/2211.07977v1
• Date: Tue, 15 Nov 2022 08:26:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 16:04:00.391898
• Title: Deep Instance Segmentation and Visual Servoing to Play Jenga with a Cost-Effective Robotic System
• Title（参考訳）: 費用対効果ロボットシステムを用いたJengaの深部インスタンス分割と視覚サーボ
• Authors: Luca Marchionna, Giulio Pugliese, Mauro Martini, Simone Angarano, Francesco Salvetti, Marcello Chiaberge
• Abstract要約: Jengaのゲームラウンドには、複雑な工業的または外科的操作の多くの特徴が組み込まれている。 本稿では,Jenga を 6-DOF 擬人化マニピュレータ e.DOF で演奏するための新しいコスト効率アーキテクチャを提案する。 提案手法は,視覚に基づく制御戦略に焦点を絞って,エンドエフェクタを所望のブロックと正確に整合させ,押下によるブロック抽出を可能にする。
• 参考スコア（独自算出の注目度）: 1.174402845822043
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The game of Jenga represents an inspiring benchmark for developing innovative manipulation solutions for complex tasks. Indeed, it encouraged the study of novel robotics methods to extract blocks from the tower successfully. A Jenga game round undoubtedly embeds many traits of complex industrial or surgical manipulation tasks, requiring a multi-step strategy, the combination of visual and tactile data, and the highly precise motion of the robotic arm to perform a single block extraction. In this work, we propose a novel cost-effective architecture for playing Jenga with e.Do, a 6-DOF anthropomorphic manipulator manufactured by Comau, a standard depth camera, and an inexpensive monodirectional force sensor. Our solution focuses on a visual-based control strategy to accurately align the end-effector with the desired block, enabling block extraction by pushing. To this aim, we train an instance segmentation deep learning model on a synthetic custom dataset to segment each piece of the Jenga tower, allowing visual tracking of the desired block's pose during the motion of the manipulator. We integrate the visual-based strategy with a 1D force sensor to detect whether the block can be safely removed by identifying a force threshold value. Our experimentation shows that our low-cost solution allows e.DO to precisely reach removable blocks and perform up to 14 consecutive extractions in a row.
• Abstract（参考訳）: Jengaのゲームは、複雑なタスクに対する革新的な操作ソリューションを開発するための刺激的なベンチマークである。 実際、タワーからブロックをうまく取り出すための新しいロボティクス手法の研究を奨励した。 ジェンガゲームラウンドは、多段階の戦略、視覚データと触覚データの組み合わせ、ロボットアームの高精度な動きを必要とせず、複雑な工業的または外科的な操作タスクの多くの特徴を埋め込み、単一のブロック抽出を行う。 本研究では,コモウ製6自由度人工マニピュレータ,標準深度カメラ,安価な単方向力センサを用いて,Jengaをe.Doで演奏するための新しい費用対効果アーキテクチャを提案する。 提案手法は,視覚に基づく制御戦略に焦点を絞って,エンドエフェクタを所望のブロックと正確に整合させ,押下によるブロック抽出を可能にする。 この目的のために,合成カスタムデータセット上でインスタンスセグメンテーションディープラーニングモデルをトレーニングし,ジェンガタワーの各ピースをセグメンテーションし,マニピュレータの動作中に所望のブロックのポーズを視覚的に追跡する。 視覚的戦略を1次元力センサと統合し、力閾値を識別することでブロックを安全に除去できるかどうかを検出する。 提案手法により,e.doが取り外し可能なブロックに精度よく到達し,14個の連続抽出を連続して行うことができることを示した。

関連論文リスト

• Vision-based Manipulation from Single Human Video with Open-World Object Graphs [58.23098483464538]
  我々は、人間のビデオから視覚に基づく操作スキルを学ぶために、ロボットに力を与えるオブジェクト中心のアプローチを提案する。 ORIONは,単一のRGB-Dビデオからオブジェクト中心の操作計画を抽出することで,この問題に対処するアルゴリズムである。
  論文  参考訳（メタデータ） (2024-05-30T17:56:54Z)
• AlphaBlock: Embodied Finetuning for Vision-Language Reasoning in Robot Manipulation [50.737355245505334]
  本稿では,ロボット操作タスクにおける高レベル認知能力を学習するための新しいフレームワークを提案する。 得られたデータセットAlphaBlockは、多段階のテキストプランとペア観測による35の包括的なハイレベルタスクで構成されている。
  論文  参考訳（メタデータ） (2023-05-30T09:54:20Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Orbit: A Unified Simulation Framework for Interactive Robot Learning Environments [38.23943905182543]
  NVIDIA Isaac Simによるロボット学習のための統一的でモジュール化されたフレームワークOrbitを紹介する。 写真リアリスティックなシーンと高忠実度剛性で変形可能なボディシミュレーションを備えたロボット環境を構築するためのモジュラーデザインを提供する。 我々は,表現学習,強化学習,模倣学習,タスク・アンド・モーション・プランニングなど,さまざまな研究領域を支援することを目的としている。
  論文  参考訳（メタデータ） (2023-01-10T20:19:17Z)
• Semi-Supervised Disentanglement of Tactile Contact~Geometry from Sliding-Induced Shear [12.004939546183355]
  触覚は人間の器用さに根ざしている。 ロボットタッチ、特にソフトな光触覚センサーで模倣すると、動きに依存したせん断による歪みに悩まされる。 本研究では,接触情報のみを保存しながらせん断を除去する半教師付き手法を提案する。
  論文  参考訳（メタデータ） (2022-08-26T08:30:19Z)
• Learning Design and Construction with Varying-Sized Materials via Prioritized Memory Resets [30.993174896902357]
  ロボットは、ブループリントなしで、さまざまなサイズのブロックから橋の設計と構築を自律的に学べるだろうか? ロボットは、ブロックの操作と輸送のために、物理的に安定した設計スキームと実行可能なアクションを見つけなければならない。 本稿では,高レベルの建築指示を提案する強化学習設計者と,低レベルのブロックを操作する動作計画に基づくアクションジェネレータからなる,この問題に対する階層的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-12T03:45:48Z)
• CCPT: Automatic Gameplay Testing and Validation with Curiosity-Conditioned Proximal Trajectories [65.35714948506032]
  Curiosity-Conditioned Proximal Trajectories (CCPT)法は、好奇心と模倣学習を組み合わせてエージェントを訓練して探索する。 CCPTが複雑な環境を探索し、ゲームプレイの問題を発見し、その過程におけるデザインの監視を行い、それらをゲームデザイナーに直接認識し、強調する方法について説明する。
  論文  参考訳（メタデータ） (2022-02-21T09:08:33Z)
• A Differentiable Recipe for Learning Visual Non-Prehensile Planar Manipulation [63.1610540170754]
  視覚的非包括的平面操作の問題に焦点をあてる。 本稿では,ビデオデコードニューラルモデルと接触力学の先行情報を組み合わせた新しいアーキテクチャを提案する。 モジュラーで完全に差別化可能なアーキテクチャは、目に見えないオブジェクトやモーションの学習専用手法よりも優れていることが分かりました。
  論文  参考訳（メタデータ） (2021-11-09T18:39:45Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。