論文の概要: CRAVES: Controlling Robotic Arm with a Vision-based Economic System

• arxiv url: http://arxiv.org/abs/1812.00725v3
• Date: Sat, 31 May 2025 16:10:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 20:53:52.728132
• Title: CRAVES: Controlling Robotic Arm with a Vision-based Economic System
• Title（参考訳）: CRAVES:ビジョン型経済システムによるロボットアームの制御
• Authors: Yiming Zuo, Weichao Qiu, Lingxi Xie, Fangwei Zhong, Yizhou Wang, Alan L. Yuille,
• Abstract要約: 現実のタスクを達成するためにロボットアームを訓練することは、アカデミックと産業の両方で注目を集めている。 本研究は,この分野におけるコンピュータビジョンアルゴリズムの役割について論じる。 本稿では,3次元モデルを用いて大量の合成データを生成する方法を提案する。
• 参考スコア（独自算出の注目度）: 96.56564257199474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training a robotic arm to accomplish real-world tasks has been attracting increasing attention in both academia and industry. This work discusses the role of computer vision algorithms in this field. We focus on low-cost arms on which no sensors are equipped and thus all decisions are made upon visual recognition, e.g., real-time 3D pose estimation. This requires annotating a lot of training data, which is not only time-consuming but also laborious. In this paper, we present an alternative solution, which uses a 3D model to create a large number of synthetic data, trains a vision model in this virtual domain, and applies it to real-world images after domain adaptation. To this end, we design a semi-supervised approach, which fully leverages the geometric constraints among keypoints. We apply an iterative algorithm for optimization. Without any annotations on real images, our algorithm generalizes well and produces satisfying results on 3D pose estimation, which is evaluated on two real-world datasets. We also construct a vision-based control system for task accomplishment, for which we train a reinforcement learning agent in a virtual environment and apply it to the real-world. Moreover, our approach, with merely a 3D model being required, has the potential to generalize to other types of multi-rigid-body dynamic systems. Website: https://qiuwch.github.io/craves.ai. Code: https://github.com/zuoym15/craves.ai
• Abstract（参考訳）: 現実のタスクを達成するためにロボットアームを訓練することは、アカデミックと産業の両方で注目を集めている。 本研究は,この分野におけるコンピュータビジョンアルゴリズムの役割について論じる。 センサが装備されていない低コストのアームに焦点をあて、視覚認識、例えばリアルタイム3Dポーズ推定に基づいてすべての決定を行う。 これは多くのトレーニングデータを注釈付けする必要がある。 本稿では,3次元モデルを用いて多数の合成データを作成し,この仮想領域で視覚モデルを訓練し,ドメイン適応後の実世界の画像に適用する手法を提案する。 この目的のために、キーポイント間の幾何学的制約を完全に活用する半教師付きアプローチを設計する。 最適化に反復アルゴリズムを適用する。 実画像のアノテーションがなければ,本アルゴリズムはよく一般化され,実世界の2つのデータセットで評価された3次元ポーズ推定において満足な結果が得られる。 また,仮想環境下で強化学習エージェントを訓練し,実世界に適用するタスク達成のための視覚ベースの制御システムを構築した。 さらに,本手法は,単に3次元モデルを必要とするだけで,他の種類の多剛体力学系に一般化する可能性がある。 ウェブサイト:https://qiuwch.github.io/craves.ai コード:https://github.com/zuoym15/craves.ai

関連論文リスト

• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [111.16358607889609]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Markerless Camera-to-Robot Pose Estimation via Self-supervised Sim-to-Real Transfer [26.21320177775571]
  本稿では,オンラインカメラ・ロボット・キャリブレーションと自己監督型トレーニング手法を備えたエンドツーエンドのポーズ推定フレームワークを提案する。 我々のフレームワークはロボットのポーズを解くための深層学習と幾何学的ビジョンを組み合わせており、パイプラインは完全に微分可能である。
  論文  参考訳（メタデータ） (2023-02-28T05:55:42Z)
• Visual Reinforcement Learning with Self-Supervised 3D Representations [15.991546692872841]
  運動制御のための3次元表現の自己教師型学習のための統一的な枠組みを提案する。 本手法は,2次元表現学習法と比較して,シミュレーション操作タスクにおけるサンプル効率の向上を享受する。
  論文  参考訳（メタデータ） (2022-10-13T17:59:55Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。