論文の概要: Controlling by Showing: i-Mimic: A Video-based Method to Control Robotic Arms

• arxiv url: http://arxiv.org/abs/2101.11451v1
• Date: Wed, 27 Jan 2021 14:35:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 03:32:23.445068
• Title: Controlling by Showing: i-Mimic: A Video-based Method to Control Robotic Arms
• Title（参考訳）: 展示による制御:i-Mimic:ロボットアームを制御するビデオベースの手法
• Authors: Debarati B. Chakraborty, Mukesh Sharma and Bhaskar Vijay
• Abstract要約: ここでは、視覚に基づくロボットアームの知的制御という新しい概念が展開されている。 第1の方法は教師なしであり、マニピュレータで人間の腕の動きをリアルタイムで模倣することを目的としている。 また、模倣を行うためにCNNでディープニューラルネットワーク技術を展開する方法も開発されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A novel concept of vision-based intelligent control of robotic arms is developed here in this work. This work enables the controlling of robotic arms motion only with visual inputs, that is, controlling by showing the videos of correct movements. This work can broadly be sub-divided into two segments. The first part of this work is to develop an unsupervised vision-based method to control robotic arm in 2-D plane, and the second one is with deep CNN in the same task in 3-D plane. The first method is unsupervised, where our aim is to perform mimicking of human arm motion in real-time by a manipulator. We developed a network, namely the vision-to-motion optical network (DON), where the input should be a video stream containing hand movements of human, the the output would be out the velocity and torque information of the hand movements shown in the videos. The output information of the DON is then fed to the robotic arm by enabling it to generate motion according to the real hand videos. The method has been tested with both live-stream video feed as well as on recorded video obtained from a monocular camera even by intelligently predicting the trajectory of human hand hand when it gets occluded. This is why the mimicry of the arm incorporates some intelligence to it and becomes intelligent mimic (i-mimic). Alongside the unsupervised method another method has also been developed deploying the deep neural network technique with CNN (Convolutional Neural Network) to perform the mimicking, where labelled datasets are used for training. The same dataset, as used in the unsupervised DON-based method, is used in the deep CNN method, after manual annotations. Both the proposed methods are validated with off-line as well as with on-line video datasets in real-time. The entire methodology is validated with real-time 1-link and simulated n-link manipulators alongwith suitable comparisons.
• Abstract（参考訳）: ロボットアームの視覚に基づく知的制御という新しい概念が本研究で開発されている。 この研究により、ロボットアームの動きの制御は、視覚入力のみ、つまり、正しい動きのビデオを表示することによって制御できる。 この作業は2つのセグメントに大まかに分割できる。 この研究の第1部は、2次元平面におけるロボットアームを制御する教師なし視覚ベースの方法を開発することであり、第2部は3次元平面における同じ作業における深部CNNである。 最初の方法は無監督で、人間の腕の動きをマニピュレータでリアルタイムに模倣することを目指しています。 そこで我々は,人間の手の動きを含むビデオストリームを入力として,映像中の手の動きの速度とトルク情報を出力するネットワーク,すなわち視覚移動型光ネットワーク(DON)を開発した。 その後、DONの出力情報をロボットアームにフィードバックし、実際のハンドビデオに従ってモーションを生成します。 この手法はライブストリームビデオフィードと単眼カメラから得られた記録ビデオの両方でテストされており、オクルードされた人の手の動きをインテリジェントに予測している。 これが、腕の模倣が知能を組み込んでインテリジェントな模倣(i-mimic)になる理由です。 教師なしの方法に加えて、ラベル付きデータセットをトレーニングに使用するようにcnn(convolutional neural network)でディープニューラルネットワーク技術をデプロイする別の方法も開発されている。 教師なしのdon-basedメソッドで使われるのと同じデータセットは、手動アノテーションの後にディープcnnメソッドで使用される。 提案された2つのメソッドは、オフラインとオンラインのビデオデータセットでリアルタイムに検証される。 本手法は, 実時間1リンクと模擬nリンクマニピュレータを用いて, 適切な比較を行った。

関連論文リスト

• Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
  本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。 まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。 この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。 両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
  論文  参考訳（メタデータ） (2024-09-26T17:57:16Z)
• Vision-based Manipulation from Single Human Video with Open-World Object Graphs [58.23098483464538]
  我々は、人間のビデオから視覚に基づく操作スキルを学ぶために、ロボットに力を与えるオブジェクト中心のアプローチを提案する。 ORIONは,単一のRGB-Dビデオからオブジェクト中心の操作計画を抽出することで,この問題に対処するアルゴリズムである。
  論文  参考訳（メタデータ） (2024-05-30T17:56:54Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• Silver-Bullet-3D at ManiSkill 2021: Learning-from-Demonstrations and Heuristic Rule-based Methods for Object Manipulation [118.27432851053335]
  本稿では,SAPIEN ManiSkill Challenge 2021: No Interaction Trackにおいて,以下の2つのトラックを対象としたシステムの概要と比較分析を行った。 No Interactionは、事前に収集された実証軌道からの学習ポリシーのターゲットを追跡する。 このトラックでは,タスクを一連のサブタスクに分解することで,高品質なオブジェクト操作をトリガするHuristic Rule-based Method (HRM) を設計する。 各サブタスクに対して、ロボットアームに適用可能なアクションを予測するために、単純なルールベースの制御戦略が採用されている。
  論文  参考訳（メタデータ） (2022-06-13T16:20:42Z)
• Graph Neural Networks for Relational Inductive Bias in Vision-based Deep Reinforcement Learning of Robot Control [0.0]
  この研究は、リレーショナル帰納バイアスと視覚フィードバックを組み合わせたニューラルネットワークアーキテクチャを導入し、効率的な位置制御ポリシーを学習する。 我々は、画像符号化ネットワークによって生成された視覚シーンの低次元記述を用いて、ロボットの内部状態をモデル化するグラフ表現を導出する。 視覚的に現実的な3D環境下での6-DoFロボットアームのサンプル効率を向上させるためのモデルの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-11T15:11:54Z)
• Look Closer: Bridging Egocentric and Third-Person Views with Transformers for Robotic Manipulation [15.632809977544907]
  視覚フィードバックから精度に基づく操作タスクを解くことは、従来のロボットシステムに必要なエンジニアリング労力を大幅に削減する可能性がある。 ロボットの手首に装着した3人称カメラと自我中心カメラの両方から視覚フィードバックを受けるロボット操作のための設定を提案する。 また,両カメラの視覚情報を効果的に融合するために,クロスビューアテンション機構を備えたトランスフォーマーを提案する。
  論文  参考訳（メタデータ） (2022-01-19T18:39:03Z)
• One to Many: Adaptive Instrument Segmentation via Meta Learning and Dynamic Online Adaptation in Robotic Surgical Video [71.43912903508765]
  MDALは、ロボット支援手術における機器セグメンテーションのための動的オンライン適応学習スキームです。 ビデオ固有のメタ学習パラダイムを通じて、楽器の一般的な知識と高速適応能力を学ぶ。 2つのデータセットで他の最先端のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-03-24T05:02:18Z)
• KOVIS: Keypoint-based Visual Servoing with Zero-Shot Sim-to-Real Transfer for Robotics Manipulation [8.81267687440119]
  KOVISは、目視ステレオカメラシステムを用いたロボット操作作業のための、学習ベースで校正不要なビジュアルサーボ手法である。 シミュレーション環境でのみ、ディープニューラルネットワークをトレーニングします。 本研究では,ロボット操作タスクのシミュレーション環境と実環境実験の両方において,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-28T02:53:28Z)
• Two-stream Fusion Model for Dynamic Hand Gesture Recognition using 3D-CNN and 2D-CNN Optical Flow guided Motion Template [0.0]
  動き手の適切な検出と追跡が困難になるのは 手の形状や大きさの異なるためです 本研究は,手動認識のための2ストリーム融合モデルと,光学的フローに基づくコンパクトで効率的な動作テンプレートを提案する。
  論文  参考訳（メタデータ） (2020-07-17T09:20:20Z)
• Morphology-Agnostic Visual Robotic Control [76.44045983428701]
  MAVRICは、ロボットの形態に関する最小限の知識で機能するアプローチである。 本稿では,視覚誘導型3Dポイントリーチ,軌道追従,ロボットとロボットの模倣について紹介する。
  論文  参考訳（メタデータ） (2019-12-31T15:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。