論文の概要: Towards Accurate End-Effector Localization for UMI-Style Robotic Manipulation Teaching
- arxiv url: http://arxiv.org/abs/2610.09857v1
- Date: Wed, 07 Oct 2026 11:14:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.872449
- Title: Towards Accurate End-Effector Localization for UMI-Style Robotic Manipulation Teaching
- Title(参考訳): UMI型ロボットマニピュレーション教育におけるエンドエフェクタの正確な位置推定に向けて
- Abstract要約: 実世界およびシミュレーションシーケンスを用いたマニピュレーション・インタフェース・ローカライゼーション・データセットMILDを紹介する。
シミュレーションサブセットであるMILD-Simは、操作-再生の制御のためのIsaac Simのタスクカバレッジを拡張している。
魚眼視覚慣性推定とシーケンシャルなエイプリルタグ幾何を組み合わせたエイプリルVINSを提案する。
- 参考スコア(独自算出の注目度): 8.113964459048765
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robot demonstration learning requires accurate and temporally complete end-effector localization during close-range manipulation and camera occlusion. Existing SLAM benchmarks emphasize navigation motions, whereas manipulation datasets prioritize policy learning over localization evaluation. We introduce MILD, a Manipulation-Interface Localization Dataset with real-world and simulation sequences. The real-world subset provides 86 sensor sequences from Insta360 X5 and Insight9 across 15 repeated tabletop tasks, calibration assets, and a per-execution robot end-effector reference trajectory. The simulation subset, MILD-Sim, extends task coverage in Isaac Sim for controlled manipulation-replay studies. Benchmarking visual-inertial and fiducial-aided systems on instrumented real-world recordings reveals large differences in both TCP-relative trajectory error and temporal coverage, even under the same nominal task. To support marker-augmented teaching workspaces without a pre-surveyed fiducial map, we present AprilVINS, which combines fisheye visual-inertial estimation with sequence-local AprilTag geometry and separates prior admission from guarded export of the jointly optimized state. On Insta360 AprilTag4 recordings, AprilVINS(full) under a unified protocol with sequence-specific profiles reaches millimeter-level SE(3)-aligned TCP-relative APE RMSE with high time completion and lower reported error than the tested routes under their respective protocols, whereas fisheye VIO without tag factors remains at centimeter scale. Ablations separate accuracy from exportability, and a MILD-Sim replay study provides task-specific tolerance references for interpreting those error magnitudes. Together, MILD and AprilVINS provide a diagnostic benchmarking framework for UMI-style demonstration collection. Code, datasets, and evaluation manifests will be released upon acceptance.
- Abstract(参考訳): ロボットのデモ学習は、近距離操作とカメラの閉塞の間、正確で時間的に完全なエンドエフェクタローカライゼーションを必要とする。
既存のSLAMベンチマークではナビゲーション動作が重視されているのに対して、操作データセットでは、ローカライゼーション評価よりもポリシ学習が優先されている。
実世界およびシミュレーションシーケンスを用いたMILD(Manipulation-Interface Localization Dataset)を提案する。
現実世界のサブセットは15のテーブルトップタスク、キャリブレーションアセット、実行ロボットごとのエンドエフェクター参照軌道を含む、Insta360 X5とInsight9の86のセンサーシーケンスを提供する。
シミュレーションサブセットであるMILD-Simは、操作-再生の制御のためのIsaac Simのタスクカバレッジを拡張している。
実世界の計測記録における視覚慣性・動画像支援システムのベンチマークでは、TCP相対軌道誤差と時間的カバレッジに大きな違いが示される。
そこで本研究では,魚眼の視覚・慣性推定とシーケンシャルなエイプリルタグ形状を組み合わせた4月VINSを提案する。
Insta360 AprilTag4 の4月VINS(full)は、シーケンス固有のプロファイルを持つ統一されたプロトコルの下で、TCP-relative APE RMSE に到達し、それぞれのプロトコルで試験されたルートよりも高速に完了し、報告エラーが少ない。
MILD-Simリプレイ研究は、これらの誤りの大きさを解釈するためのタスク固有の許容基準を提供する。
MILD と AprilVINS は UMI スタイルのデモコレクションのための診断ベンチマークフレームワークを提供する。
コード、データセット、評価マニフェストは受け入れ次第リリースされる。
関連論文リスト
- A Sim-to-Real Integration Pipeline for Training and Deployment of Chunk-Based VLA Manipulation Policies [7.704461099776405]
VLA(Vision-Language-Action)モデルは、マルチモーダル入力をロボットアクションにマッピングするための重要なパラダイムとなっている。
これらのモデルのトレーニングと評価には、大規模な実世界デモの収集が必要である。
このボトルネックに対処する,オープンソースのsim-to-real実験プロトコルを提案する。
論文 参考訳(メタデータ) (2026-09-18T14:22:46Z) - VTM-Nav: Hierarchical Visual-Topological Memory for Cross-Episode Object-Goal Navigation [55.45263611374435]
エージェントが同じシーンで繰り返し操作し、自己獲得経験のみを保持し、モデルパラメータを固定するクロスエポソードオブジェクトゴールナビゲーションを提案する。
経験の再利用を支援するために,永続的階層型ビジュアルトポロジカルメモリ(VTM)を用いたトレーニング不要なVLMナビゲーションフレームワークを提案する。
提案手法は,3つのベンチマークすべてで最高のパフォーマンスを実現し,データセット間の構造化視覚トポロジカルエクスペリエンスの再利用の有効性と堅牢性を示す。
論文 参考訳(メタデータ) (2026-07-16T03:11:37Z) - Probing Geospatial SSL Representations with Environmental Signals [51.908606610432194]
自己教師付き学習(SSL)は、単一のタスクに最適化された表現ではなく、汎用的で転送可能な表現を学ぶように設計されている。
SSL表現は、イメージングプロセスと共変する環境変数との統計的関連を保存しているか?
この問題に対処するために、我々は、物理的に一貫した環境変数のグローバルデータセットである共配置ERA5再解析変数を用いてSSL表現を探索する。
論文 参考訳(メタデータ) (2026-07-06T15:24:25Z) - Sparse2Act: Learning Action-Aligned Sparse 3D Representations for Cross-Domain Robot Manipulation [52.00134393320209]
Sparse2Actは、スパースポイントクラウドエンコーダの事前学習のための観測・動作アライメントフレームワークである。
マスク付きスパース3Dトークンは、観察と組み合わせたワークスペース運動の周囲のシーン特徴を整理するために訓練される。
LIBERO-10ベンチマークでは,500ステップの微調整を行い,平均86.9%の成功を達成した。
論文 参考訳(メタデータ) (2026-06-10T23:56:01Z) - EmbodimentSemantic: A Spatial Scene-Graph Dataset and Benchmark for Vision-Language Models on Embodied Manipulation Trajectories [16.996900088118412]
エボディメント・セマンティック(EmbodimentSemantic)は、空間的シーングラフのデータセットと、エンボディード操作における関係グラウンドの評価のためのベンチマークである。
データセットには、低コストのSO101ロボットアームで収集された現実世界の操作観察が含まれている。
また,60K以上の操作フレームと120K以上のカメラ固有のシーングラフを3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人
論文 参考訳(メタデータ) (2026-06-06T18:58:54Z) - IMPACT: A Dataset for Multi-Granularity Human Procedural Action Understanding in Industrial Assembly [79.737814043505]
IMPACTは、デプロイメント指向の産業手続き的理解のための5ビューのRGB-Dデータセットである。
実際の組み立てと、プロ向けのツールを備えた商業用アングルグラインダーの分解を中心に構築されている。
論文 参考訳(メタデータ) (2026-04-12T02:09:19Z) - ESPADA: Execution Speedup via Semantics Aware Demonstration Data Downsampling for Imitation Learning [18.435889278351297]
ESPADAは3Dグリップ・オブジェクト関係を持つVLM-LLMパイプラインを使用して、デモをセグメント化するセマンティックなフレームワークである。
1つの注釈付きエピソードからフルデータセットにスケールするために、ESPADAはDynamic Time Warpingを通じてセグメントラベルを伝搬する。
ESPADAは成功率を維持しながら約2倍のスピードアップを実現し、人間のデモと効率的なロボット制御のギャップを狭める。
論文 参考訳(メタデータ) (2025-12-08T10:08:33Z) - Let's Roll: Synthetic Dataset Analysis for Pedestrian Detection Across
Different Shutter Types [7.0441427250832644]
本稿では,機械学習(ML)オブジェクト検出モデルに異なるシャッター機構が与える影響について検討する。
特に、合成合成されたGSとRSのデータセットを用いて、主流検出モデルを訓練し、評価する。
論文 参考訳(メタデータ) (2023-09-15T04:07:42Z) - MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based
Self-Supervised Pre-Training [58.07391711548269]
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
論文 参考訳(メタデータ) (2023-03-23T17:59:02Z) - Benchmarking Unsupervised Object Representations for Video Sequences [111.81492107649889]
ViMON, OP3, TBA, SCALORの4つのオブジェクト中心アプローチの知覚能力を比較した。
この結果から,制約のない潜在表現を持つアーキテクチャは,オブジェクト検出やセグメンテーション,トラッキングといった観点から,より強力な表現を学習できる可能性が示唆された。
我々のベンチマークは、より堅牢なオブジェクト中心のビデオ表現を学習するための実りあるガイダンスを提供するかもしれない。
論文 参考訳(メタデータ) (2020-06-12T09:37:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。