論文の概要: Utilizing Inpainting for Keypoint Detection for Vision-Based Control of Robotic Manipulators
- arxiv url: http://arxiv.org/abs/2604.13309v1
- Date: Tue, 14 Apr 2026 21:23:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-16 20:38:32.305816
- Title: Utilizing Inpainting for Keypoint Detection for Vision-Based Control of Robotic Manipulators
- Title（参考訳）: ロボットマニピュレータの視覚制御のためのキーポイント検出用塗料の利用
- Authors: Sreejani Chatterjee, Venkatesh Mullur, Abhinav Gandhi, Berk Calli,
- Abstract要約: そこで本研究では,ロボットマニピュレータを純粋に自然な視覚的特徴を用いて制御する新しいビジュアルサーボフレームワークを提案する。
我々の目標は、ロボットマニピュレータの自然な特徴やキーポイントをしっかりと検出し、追跡する手法を開発することです。
- 参考スコア（独自算出の注目度）: 0.9786690381850356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we present a novel visual servoing framework to control a robotic manipulator in the configuration space by using purely natural visual features. Our goal is to develop methods that can robustly detect and track natural features or keypoints on robotic manipulators that would be used for vision-based control, especially for scenarios where placing external markers on the robot is not feasible or preferred at runtime. For the model training process of our data driven approach, we create a data collection pipeline where we attach ArUco markers along the robot's body, label their centers as keypoints, and then utilize an inpainting method to remove the markers and reconstruct the occluded regions. By doing so, we generate natural (markerless) robot images that are automatically labeled with the marker locations. These images are used to train a keypoint detection algorithm, which is used to control the robot configuration using natural features of the robot. Unlike the prior methods that rely on accurate camera calibration and robot models for labeling training images, our approach eliminates these dependencies through inpainting. To achieve robust keypoint detection even in the presence of occlusion, we introduce a second inpainting model, this time to utilize during runtime, that reconstructs occluded regions of the robot in real time, enabling continuous keypoint detection. To further enhance the consistency and robustness of keypoint predictions, we integrate an Unscented Kalman Filter (UKF) that refines the keypoint estimates over time, adding to stable and reliable control performance. We obtained successful control results with this model-free and purely vision-based control strategy, utilizing natural robot features in the runtime, both under full visibility and partial occlusion.
- Abstract（参考訳）: 本稿では、純粋に自然な視覚的特徴を用いて、構成空間におけるロボットマニピュレータを制御する新しいビジュアルサーボフレームワークを提案する。
我々のゴールは、特にロボットに外部マーカーを配置することが実行時に不可能または好まれるシナリオにおいて、視覚ベースの制御に使用されるロボットマニピュレータの自然な特徴やキーポイントを堅牢に検出・追跡できる手法を開発することである。
データ駆動アプローチのモデルトレーニングプロセスでは,ロボットの体に沿ってArUcoマーカーをアタッチし,その中心をキーポイントとしてラベル付けするデータ収集パイプラインを作成し,マーカを取り除き,隠蔽領域を再構築する。
これにより、マーカー位置と自動的にラベル付けされた自然な(マーカーレス)ロボット画像を生成する。
これらの画像は、ロボットの自然な特徴を利用してロボットの構成を制御するキーポイント検出アルゴリズムのトレーニングに使用される。
トレーニング画像のラベル付けに正確なカメラキャリブレーションやロボットモデルに頼っていた従来の手法とは異なり,本手法では塗装による依存関係を排除している。
隠蔽状態においてもロバストなキーポイント検出を実現するため,今回は,ロボットの隠蔽領域をリアルタイムに再構築し,連続的なキーポイント検出を可能にする第2の塗装モデルを導入する。
キーポイント予測の一貫性と堅牢性をさらに向上するため、キーポイント推定を時間とともに改善し、安定かつ信頼性の高い制御性能を付加するUnscented Kalman Filter (UKF)を統合する。
我々は、このモデルフリーで純粋に視覚に基づく制御戦略により、完全な視認性と部分閉塞の両面において、実行時の自然なロボット機能を活用した制御結果を得た。
関連論文リスト
- Efficient Surgical Robotic Instrument Pose Reconstruction in Real World Conditions Using Unified Feature Detection [21.460727996614704]
MISロボットは、長いキネマティックチェーンを持ち、カメラ内の自由度を部分的に可視化する。
本稿では,共有符号化による幾何学的プリミティブの検出を統一する新しいフレームワークを提案する。
このアーキテクチャは、1つの推論でキーポイントとエッジの両方を検出し、射影ラベル付き大規模合成データに基づいて訓練される。
論文 参考訳（メタデータ） (2025-10-03T22:03:28Z) - ARC-Calib: Autonomous Markerless Camera-to-Robot Calibration via Exploratory Robot Motions [15.004750210002152]
ARC-Calibはモデルベースのマーカーレスカメラ・ロボットキャリブレーションフレームワークである。
完全に自律的で、多様なロボットにまたがって一般化できる。
論文 参考訳（メタデータ） (2025-03-18T20:03:32Z) - FAST: Efficient Action Tokenization for Vision-Language-Action Models [98.15494168962563]
離散コサイン変換に基づくロボット動作のための圧縮に基づく新しいトークン化手法を提案する。
FASTをベースとしたFAST+は,100万個のリアルロボットアクショントラジェクトリに基づいて訓練されたユニバーサルロボットアクショントークンである。
論文 参考訳（メタデータ） (2025-01-16T18:57:04Z) - CtRNet-X: Camera-to-Robot Pose Estimation in Real-world Conditions Using a Single Camera [18.971816395021488]
マーカーレスポーズ推定手法は、カメラとロボットのキャリブレーションに時間を要する物理的な設定を不要にしている。
部分的に見えるロボットマニピュレータでロボットのポーズを推定できる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-16T16:22:43Z) - Kalib: Easy Hand-Eye Calibration with Reference Point Tracking [52.4190876409222]
カリブ (Kalib) は、視覚基礎モデルの一般化性を利用して課題を克服する手眼自動校正法である。
校正中は、ロボットの後ろの空間内のカメラ座標3D座標に運動基準点を追跡する。
Kalibのユーザフレンドリな設計と最小限のセットアップ要件により、非構造化環境での継続的操作のソリューションとなり得る。
論文 参考訳（メタデータ） (2024-08-20T06:03:40Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳（メタデータ） (2023-06-16T17:58:10Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳（メタデータ） (2022-06-16T10:45:17Z) - Robust Robotic Control from Pixels using Contrastive Recurrent
State-Space Models [8.22669535053079]
本研究では、画像などの高次元観測空間上で、制約のない環境で世界モデルを学習する方法を研究する。
困難の原因の1つは、無関係ではあるが、モデルによる背景の混乱の存在である。
我々は、次の観測を対照的に予測する反復潜時力学モデルを学ぶ。
このシンプルなモデルは、同時にカメラ、背景、色を逸脱しても驚くほど頑丈なロボット制御に繋がる。
論文 参考訳（メタデータ） (2021-12-02T12:15:25Z) - Pose Estimation for Robot Manipulators via Keypoint Optimization and
Sim-to-Real Transfer [10.369766652751169]
キーポイント検出は多くのロボットアプリケーションにとって重要なビルディングブロックである。
ディープラーニング手法は、マーカーのない方法でユーザ定義キーポイントを検出できる。
これらの課題を克服するキーポイントを定義するための,新たな自律的手法を提案する。
論文 参考訳（メタデータ） (2020-10-15T22:38:37Z) - Morphology-Agnostic Visual Robotic Control [76.44045983428701]
MAVRICは、ロボットの形態に関する最小限の知識で機能するアプローチである。
本稿では,視覚誘導型3Dポイントリーチ,軌道追従,ロボットとロボットの模倣について紹介する。
論文 参考訳（メタデータ） (2019-12-31T15:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。