論文の概要: OpenJaws: An Open Hardware UMI Framework with Stereo Localization for Generalist Manipulation
- arxiv url: http://arxiv.org/abs/2610.36598v1
- Date: Tue, 27 Oct 2026 03:58:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.47964
- Title: OpenJaws: An Open Hardware UMI Framework with Stereo Localization for Generalist Manipulation
- Title(参考訳): OpenJaws: 汎用操作のためのステレオローカライゼーションを備えたオープンハードウェアUMIフレームワーク
- Abstract要約: センサ付きUMIのための完全にオープンなハードウェアおよびソフトウェアフレームワークであるOpenJawsを紹介する。
UMI-Loc-Bench-v1は,ハンドヘルドデータ収集装置における実世界のローカライズ精度を定量化するベンチマークである。
OpenJawsで収集したデータに基づいてトレーニングされたポリシーは、複数のタスクにまたがって実際のロボットにデプロイ可能であることを示す。
- 参考スコア(独自算出の注目度): 10.316580452225123
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Handheld data-collection interfaces such as the Universal Manipulation Interface (UMI) allow manipulation demonstrations to be gathered in the wild without a robot in the loop, but the quality of the resulting action labels is bounded by the accuracy of vision-based localization. Existing systems recover end-effector pose from monocular visual-inertial odometry, which is subject to scale ambiguity and drift, or delegate tracking to closed-source modules and external infrastructure that reintroduce cost and setup burden. We present OpenJaws, a fully open hardware and software framework for sensorized UMI that improves localization and simplifies deployment across robot platforms. OpenJaws pairs a modular, 3D-printed gripper exposing a standardized ISO adapter with a low-cost stereo camera to recover metric camera trajectories. We further introduce UMI-Loc-Bench-v1, a benchmark quantifying real-world localization accuracy for handheld data-collection devices, and show that stereo localization substantially outperforms monocular alternatives. Finally, we demonstrate that policies trained on data collected with OpenJaws can be deployed on a real robot across multiple tasks. Hardware, software, and data are released under a commercially permissive license. Code, data, and videos are available at https://open-jaws.github.io/
- Abstract(参考訳): ユニバーサルマニピュレーションインタフェース(UMI)のようなハンドヘルドデータ収集インタフェースは、ループにロボットがいなくても操作デモを野生に集めることができるが、その結果のアクションラベルの品質は視覚ベースのローカライゼーションの精度によって制限される。
既存のシステムのエンドエフェクタは、アンビグニティとドリフトのスケールを必要とするモノクロ視覚慣性オドメトリーや、コストとセットアップの負担を再導入するクローズドソースモジュールや外部インフラストラクチャへのオーダトラッキングから、ポーズを復元する。
OpenJawsは、センサー付きUMIのための完全にオープンなハードウェアおよびソフトウェアフレームワークで、ローカライゼーションを改善し、ロボットプラットフォーム間のデプロイを簡単にする。
OpenJawsはモジュール式の3Dプリントグリップで、ISOアダプターと低価格のステレオカメラを併用して、メートル法カメラの軌道を復元する。
さらにUMI-Loc-Bench-v1は,携帯型データ収集装置における実世界の局所化精度を定量化するベンチマークであり,ステレオの局在化がモノラルな代替品よりも大幅に優れていることを示す。
最後に、OpenJawsで収集されたデータに基づいてトレーニングされたポリシーを、複数のタスクで実際のロボットにデプロイできることを実証する。
ハードウェア、ソフトウェア、データは商業的に許可されたライセンスの下でリリースされる。
コード、データ、ビデオはhttps://open-jaws.github.io/で公開されている。
関連論文リスト
- Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning [82.27496680935589]
オープンでコミュニティ指向のエゴセントリックな操作と,キャプチャからモデルトレーニングまでのツール中心のパイプラインであるOpen-AoEを紹介します。
最初のリリースでは、400以上のスマートフォンを使用して500以上の自然環境で収集された約2000時間のビデオが含まれている。
論文 参考訳(メタデータ) (2026-07-15T14:49:49Z) - Multi-Agent Robotic Control with Onboard Vision-Language Models [38.78172334790013]
ビジョン言語モデル(VLM)とビジョン言語アクション(VLA)モデルは、ロボット制御において有望であることを示している。
説明可能性、一般化、計算要求に関する重大な課題に直面している。
本稿では,ハードウェア上に特殊なエージェントを配置することで,これらの制約に対処するマルチエージェントシステム(MAS)アーキテクチャを提案する。
論文 参考訳(メタデータ) (2026-07-08T13:37:31Z) - UMI-3D: Extending Universal Manipulation Interface from Vision-Limited to 3D Spatial Perception [22.85129722207174]
本稿では,Universal Manipulation Interface(UMI)のマルチモーダル拡張であるUMI-3Dについて述べる。
軽量で低コストなLiDARセンサを手首装着インタフェースに密に統合し,LiDAR中心のSLAMを実現する。
さらに、ハードウェア同期マルチモーダルセンシングパイプラインと統一校正フレームワークを開発し、一貫したデモの3D表現を生成する。
論文 参考訳(メタデータ) (2026-04-15T17:04:34Z) - OpenFly: A Comprehensive Platform for Aerial Vision-Language Navigation [49.697035403548966]
Vision-Language Navigation (VLN)は、言語命令と視覚的手がかりを活用してエージェントを誘導することを目的としており、AIの具体化において重要な役割を果たす。
各種レンダリングエンジン,多用途ツールチェーン,航空VLNの大規模ベンチマークからなるプラットフォームであるOpenFlyを提案する。
我々は、100kの軌跡を持つ大規模な航空VLNデータセットを構築し、18のシーンにまたがる様々な高さと長さをカバーした。
論文 参考訳(メタデータ) (2025-02-25T09:57:18Z) - Towards Open-World Grasping with Large Vision-Language Models [5.317624228510749]
オープンワールドの把握システムは、高レベルの文脈と低レベルの物理幾何学的推論を組み合わせることができるべきである。
本稿では,視覚言語モデルとセグメンテーションとグルーピング合成モデルを組み合わせたオープンワールドグルーピングパイプラインOWGを提案する。
乱雑な屋内シーンデータセットを用いて,オープンエンド言語を基盤としたOWGのロバスト性を示す。
論文 参考訳(メタデータ) (2024-06-26T19:42:08Z) - Video OWL-ViT: Temporally-consistent open-world localization in video [32.63495573280096]
学習済みのオープンワールドイメージモデルをビデオのローカライズに適応させるアーキテクチャとトレーニングレシピを提案する。
OWL-ViTオープン語彙検出モデルを用いて,オープンワールドモデルの転送に成功したことを示す。
我々のモデルはビデオデータでエンドツーエンドのトレーニングが可能であり、トラッキング・バイ・検出ベースラインに比べて時間的一貫性が向上している。
論文 参考訳(メタデータ) (2023-08-22T00:21:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。