論文の概要: From Perception to Assistance: Open-Vocabulary Shared Autonomy for Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2607.17323v1
- Date: Sun, 19 Jul 2026 16:15:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.427802
- Title: From Perception to Assistance: Open-Vocabulary Shared Autonomy for Robotic Manipulation
- Title（参考訳）: 認識から援助へ:ロボットマニピュレーションのためのオープン語彙共有自律性
- Abstract要約: フレームワークは4つのモバイルマニピュレータ上で検証される。
これは、モーションキャプチャー地上の真理に対して59mmの位置RMSEを達成する。
産業用バルブの操作とピック・アンド・プレイス・タスクでは、全ての試験に完全なフレームワークが成功した。
- 参考スコア（独自算出の注目度）: 1.018607043740383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Teleoperating a robotic manipulator in industrial environments demands precision that camera-based interfaces alone struggle to deliver. The operator must align the end-effector with a target in clutter, under limited depth perception, and without colliding with the surrounding structures. This paper presents a shared-autonomy framework that assists the operator throughout this process. A single RGB-D camera captures the operator's arm motion and hand gestures without wearables, fiducials, or a calibration stage. The intended target is specified by a free-form text prompt, grounded by a vision-language model in the robot's gripper camera, and tracked across its onboard cameras by a promptable video-segmentation model, resulting in a grasp frame continuously separated from the obstacle map. Every commanded motion is executed by a GPU-accelerated model-predictive controller that enforces self- and environment-collision avoidance against an online volumetric reconstruction, while a potential field corrects the operator's reference toward the grounded target during the final approach. An autonomous mode can be gesture-triggered to complete the grasp on the same target without a separate perception pipeline. The framework is validated on a quadruped mobile manipulator. The interface achieves a positional RMSE of 59 mm relative to motion-capture ground truth, and the controller keeps the arm at least 18 cm from obstacles while the operator deliberately commands the arm into them by 6 cm. In an industrial valve manipulation and a pick-and-place task, the full framework succeeded in all trials, while ablating either the collision or the assistance module produced failures through complementary mechanisms, and autonomous execution succeeded in four of five trials per task.
- Abstract（参考訳）: 産業環境でロボットマニピュレータを遠隔操作するには、カメラベースのインターフェースだけでは提供が困難であることを正確に要求する。
操作者は、端エフェクターを、狭い深さの知覚の下で、周囲の構造と衝突することなく、ぼろぼろのターゲットと整列させなければならない。
本稿では,このプロセスを通して演算子を支援する共有自律化フレームワークを提案する。
単一のRGB-Dカメラは、操作者の腕の動きと手の動きをウェアラブル、フィデューシャル、キャリブレーションステージなしで撮影する。
対象とするターゲットは、ロボットのグリップカメラの視覚言語モデルによって接地された自由形式のテキストプロンプトで指定され、カメラ上をプロンプト可能なビデオセグメンテーションモデルによって追跡され、障害物マップから連続的に分離される。
命令されたすべての動作はGPUアクセラレーションされたモデル予測コントローラによって実行され、オンラインボリューム再構成に対して自己と環境の衝突を避けるとともに、潜在的フィールドが最終アプローチ中に接地対象に対するオペレータの参照を補正する。
自律的なモードをジェスチャートリガーして、別の知覚パイプラインを使わずに、同じターゲットの把握を完了させることができる。
フレームワークは4つのモバイルマニピュレータ上で検証される。
インターフェースは、モーションキャプチャ地上の真理に対して59mmの位置RMSEを達成し、コントローラは、操作者が意図的に腕を6cmに指令している間に、少なくとも18cmは障害物から守っている。
産業用バルブ操作とピック・アンド・プレイス・タスクでは、完全なフレームワークが全ての試験に成功し、衝突または補助モジュールが相補的な機構によって故障を発生させ、自律的な実行は1タスクにつき5回の試験のうち4回に成功している。
関連論文リスト
- TCAM for Autonomous Deformable Manipulation: The RMC2 Champion System for WBCD 2026 Track 4 [11.62811337213929]
本報告では、WBCD 2026 Track 4: Deformable Manipulation Challengeに対するRCC2 Teamのチャンピオンソリューションについて述べる。
このタスクでは、ロボットが1枚のTシャツをスタックから選択し、印刷用パレットにロードし、首輪を目標領域に合わせ、印刷領域を滑らかにする。
TCAMフレームワークを中心に完全に自律的なシステムを構築しました。ハードウェア、知覚、データ、学習は、ポリシーが扱わなければならない物理的相互作用の複雑さを共同で削減する、という設計原則を掲げています。
最終コンペでは,約23秒で25枚のTシャツをロードし,22。
論文 参考訳（メタデータ） (2026-08-11T09:35:39Z) - TAC-LOCO: Unified Whole-Body Control for Quadrupedal TACtile-Informed LOCO-Manipulation [13.785492911693098]
動的ロコ操作では、不確実な外力下での把握された物体との安定した物理的相互作用を維持しながら、脚のあるロボットが全身の動きを調整する必要がある。
触覚を付加した統合強化学習フレームワークであるTAC-LOCOを提案する。
We deploy the policy zero-shot on a Unitree Go2 with an Interbotix WidowX 250 arm and tactile gripper, showed dynamic tactile-informed loco-manipulation under various external interaction。
論文 参考訳（メタデータ） (2026-07-11T05:45:24Z) - ABot-M0.5: Unified Mobility-and-Manipulation World Action Model [27.262271208923995]
ABot-M0.5は、モバイル操作には時間的粒度、アクションスペース、列車-テスト整合性の3段階のアライメントが必要であるという洞察に基づいて構築されている。
モバイルおよびきめ細かい操作ベンチマークの実験により、ABot-M0.5は、長距離タスクの成功ときめ細かい制御精度の両方において最先端の性能を達成することが示された。
論文 参考訳（メタデータ） (2026-07-01T09:21:20Z) - ActiveGlasses: Learning Manipulation with Active Vision from Ego-centric Human Demonstration [51.69384671495837]
ActiveGlassesは、エゴ中心の人間のデモからロボット操作を学習するシステムである。
スマートグラスに装着されたステレオカメラは、データ収集とポリシー推論の両方のための唯一の認識装置として機能する。
ゼロ・トランスファーを可能にするために,デモからオブジェクト・トラジェクトリを抽出し,オブジェクト中心のポイント・クラウド・ポリシーを用いて操作と頭部運動を協調的に予測する。
論文 参考訳（メタデータ） (2026-04-09T17:59:08Z) - Robotic Grasping and Placement Controlled by EEG-Based Hybrid Visual and Motor Imagery [64.82869118243723]
本稿では,脳波に基づく視覚・運動画像(VI/MI)とロボット制御を統合し,リアルタイム・意図駆動型把握・配置を実現するフレームワークを提案する。
このシステムは、BCI駆動のロボット工学の約束に感銘を受けて、オフラインで事前訓練されたデコーダをゼロショットで展開することによって、ニューラルネットワークを物理的制御でブリッジする。
論文 参考訳（メタデータ） (2026-03-03T17:41:42Z) - Pro-HOI: Perceptive Root-guided Humanoid-Object Interaction [57.252599851031505]
本稿では,知覚根誘導型ヒューマノイドオブジェクトインタラクション,Pro-HOIを紹介する。
Pro-HOIは、堅牢なヒューマノイドロコ操作のための一般化可能なフレームワークである。
ユニツリーG1ロボットの実証検証は、Pro-HOIが一般化と堅牢性においてベースラインを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2026-03-01T14:19:59Z) - Gait-Adaptive Perceptive Humanoid Locomotion with Real-Time Under-Base Terrain Reconstruction [86.53248703859718]
本研究では,地形認識,歩行制御,全身制御を一つの強化学習ポリシーにマージする知覚的移動フレームワークを提案する。
31-DoF、1.65mのヒューマノイドロボットによる実験は、シミュレーションと実世界の両方で堅牢な移動を実証している。
論文 参考訳（メタデータ） (2025-12-08T11:42:41Z) - A Vision-Based Shared-Control Teleoperation Scheme for Controlling the Robotic Arm of a Four-Legged Robot [0.9699673328328621]
本研究は,視覚に基づくポーズ推定パイプラインを活用することで,直感的な遠隔操作を提案する。
このシステムはこれらの手首の動きをロボットアームのコマンドにマッピングし、ロボットの腕をリアルタイムで制御する。
軌道プランナは、障害物とロボットアーム自体との衝突を検出し防止することにより、安全な遠隔操作を保証する。
論文 参考訳（メタデータ） (2025-08-20T18:31:57Z) - HOSIG: Full-Body Human-Object-Scene Interaction Generation with Hierarchical Scene Perception [57.37135310143126]
HO SIGは階層的なシーン認識を通じて全体インタラクションを合成するための新しいフレームワークである。
我々のフレームワークは、自己回帰生成による運動長の無制限化をサポートし、手動による介入を最小限に抑える。
この研究は、シーン認識ナビゲーションとデクスタラスオブジェクト操作の間に重要なギャップを埋める。
論文 参考訳（メタデータ） (2025-06-02T12:08:08Z) - Rethinking Bimanual Robotic Manipulation: Learning with Decoupled Interaction Framework [51.39847596489193]
バイオマチックなロボット操作は、ロボティクスコミュニティにおいて、新しくて重要なトピックである。
本稿では,バイマニュアル操作における異なるタスクの特徴を考察した,疎結合なインタラクションフレームワークを提案する。
我々のフレームワークは,SOTA法よりも23.5%向上し,優れた性能を実現している。
論文 参考訳（メタデータ） (2025-03-12T09:28:41Z) - Precise Mobile Manipulation of Small Everyday Objects [11.45585588241935]
我々は,小型物体の操作を伴う精密な作業にモバイルマニピュレータが取り組むことができるクローズドループフレームワークであるServoing with Vision Models (SVM)を開発した。
SVMは最先端のビジョン基盤モデルを使用して、視覚サーボのための3Dターゲットを生成し、新しい環境で多様なタスクを可能にする。
72の異なるオブジェクトインスタンスを含む6つの建物にまたがる10の環境における大規模評価実験を行った。
論文 参考訳（メタデータ） (2025-02-19T18:59:17Z) - Whole-body End-Effector Pose Tracking [10.426087117345096]
本研究では, 大規模作業空間におけるエンドエフェクタポーズトラッキングのための全身RL定式化手法を提案する。
提案手法は,ロボットの初期設定とエンドエフェクタポーズコマンドのための地形対応サンプリング戦略を含む。
展開時に2.64cmと3.64°のポーズ追跡誤差を達成し、既存の競争基準よりも優れている。
論文 参考訳（メタデータ） (2024-09-24T12:51:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。