論文の概要: ORCESTRA: VLM-driven Visual Robot programming in Mixed Reality
- arxiv url: http://arxiv.org/abs/2608.00775v1
- Date: Sat, 01 Aug 2026 17:12:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.905093
- Title: ORCESTRA: VLM-driven Visual Robot programming in Mixed Reality
- Title（参考訳）: ORCESTRA:Mixed RealityにおけるVLM駆動型ビジュアルロボットプログラミング
- Abstract要約: ORCESTRA(ORCESTRA)は、ロボットのデジタル双生児をプログラミングするための混合現実性システムである。
現実の表面にロボット双生児を配置したり、軌道を教えたり、ロボット相対的なエピソードを保存したり、視覚言語モデルが構造化されたデジタル双生児プランに変換する音声/型コマンドを発行する。
- 参考スコア（独自算出の注目度）: 2.1645011609137295
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: ORCESTRA is a mixed-reality system for programming robot digital twins through no-code waypoint teaching and language-guided control. In a passthrough mixed-reality workspace, users place robot twins on real surfaces, teach trajectories, save robot-relative episodes, or issue spoken/typed commands that a vision-language model converts into structured digital-twin plans. Both interaction modes share a backend for metric grounding, embodiment-aware validation, preview, confirmation, and digital-twin execution. The system supports heterogeneous robot embodiments, including fixed-base manipulators, a mobile base, and a humanoid robot, demonstrating MR validation as a safety layer for language-guided robot programming before physical deployment.
- Abstract（参考訳）: ORCESTRA(ORCESTRA)は、ロボットのデジタル双生児をプログラミングするための混合現実性システムである。
現実の表面にロボット双生児を配置したり、軌道を教えたり、ロボット相対エピソードを保存したり、視覚言語モデルが構造化されたデジタル双生児プランに変換する音声/型コマンドを発行する。
両方のインタラクションモードは、メトリックグラウンド、エボディメント対応のバリデーション、プレビュー、確認、デジタルツイン実行のためのバックエンドを共有している。
このシステムは、固定ベースマニピュレータ、移動ベース、ヒューマノイドロボットを含む異種ロボットエボディメントをサポートし、物理的な展開の前に言語誘導ロボットプログラミングの安全層としてMRバリデーションを実証する。
関連論文リスト
- Observer Design for Augmented Reality-based Teleoperation of Soft Robots [0.0]
本稿では,ソフトロボットの遠隔操作のための拡張現実インタフェースを提案する。
開発システムはMicrosoft HoloLens 2メガネと計算を担当する中央コンピュータで構成されている。
センサーから収集したデータを用いて、コンピューターはバーチャルリアリティープログラムの物理に基づいてロボットの位置を推定する。
論文 参考訳（メタデータ） (2026-03-05T10:04:14Z) - Robotic Grasping and Placement Controlled by EEG-Based Hybrid Visual and Motor Imagery [64.82869118243723]
本稿では,脳波に基づく視覚・運動画像(VI/MI)とロボット制御を統合し,リアルタイム・意図駆動型把握・配置を実現するフレームワークを提案する。
このシステムは、BCI駆動のロボット工学の約束に感銘を受けて、オフラインで事前訓練されたデコーダをゼロショットで展開することによって、ニューラルネットワークを物理的制御でブリッジする。
論文 参考訳（メタデータ） (2026-03-03T17:41:42Z) - MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。
MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
論文 参考訳（メタデータ） (2025-12-17T12:59:41Z) - RobotSeg: A Model and Dataset for Segmenting Robots in Image and Video [56.9581053843815]
画像とビデオにおけるロボットセグメンテーションの基礎モデルであるRobotSegを紹介する。
ロボットへの適応の欠如、手動のプロンプトへの依存、フレーム単位のトレーニングマスクアノテーションの必要性に対処する。
それは、画像とビデオの両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-11-28T07:51:02Z) - GR00T N1: An Open Foundation Model for Generalist Humanoid Robots [133.23509142762356]
汎用ロボットには多目的体と知的な心が必要だ。
近年のヒューマノイドロボットの進歩は、汎用的な自律性を構築するためのハードウェアプラットフォームとして大きな可能性を秘めている。
我々はヒューマノイドロボットのオープン基盤モデルであるGR00T N1を紹介する。
論文 参考訳（メタデータ） (2025-03-18T21:06:21Z) - VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。
VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
論文 参考訳（メタデータ） (2025-03-10T10:04:58Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳（メタデータ） (2024-02-22T15:12:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。