論文の概要: Self Supervised Learning from Automatically Generated Demonstrations for Visual Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2608.07553v1
• Date: Sat, 01 Aug 2026 21:34:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:13:45.027106
• Title: Self Supervised Learning from Automatically Generated Demonstrations for Visual Robotic Manipulation
• Title（参考訳）: 視覚ロボットマニピュレーションのための自動生成デモからの自己教師付き学習
• Abstract要約: 本稿では,ロボットがターゲットポーズの周囲のデモを自動的に生成する自己監督型視覚操作手法を提案する。 提案されたパイプラインはROS2とIsaac Simを使用して、ロボットに明示的なカメラを必要とせずにラベル付き画像配置ペアを収集する。 本手法は、グリッパーと単眼カメラを備えた実際のUR5e協調ロボットにおいて、シミュレーションと双方で評価される。
• 参考スコア（独自算出の注目度）: 0.11083289076967894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robotic manipulation often requires object specific programming, manual data annotation, or calibrated perception pipelines, which limits rapid deployment in practical settings. Learning from demonstration offers a more direct alternative, but collecting demonstrations can still demand human teleoperation or kinesthetic teaching. This paper presents a self supervised visual manipulation method in which a robot automatically generates demonstrations around a target pose and learns relative pose corrections directly from wrist mounted RGB images. The proposed pipeline uses ROS~2 and Isaac Sim to collect labeled image-pose pairs without requiring explicit camera to robot extrinsic calibration. Separate datasets are generated for planar refinement and coarse three dimensional approach, and a convolutional network is trained to regress relative translation and rotation from single frame RGB observations. During execution, a coarse to fine controller first approaches the object using models trained with height variation and then refines the final alignment using planar data. The method is evaluated both in simulation and on a real UR5e collaborative robot equipped with a gripper and a monocular camera. In simulation, the refinement stage reduces the final planar dispersion from 9.69 mm to 5.38 mm. In real world experiments, the system performs end to end grasp attempts on three physical objects and reaches success rates of 66.6% and 63.6% for two objects without object rotation, while still maintaining partial robustness under rotated conditions. These results show that automatically generated demonstrations can support practical visual manipulation with limited setup effort, while also exposing remaining challenges in depth prediction and object dependent generalization.
• Abstract（参考訳）: ロボット操作は、しばしばオブジェクト固有のプログラミング、手動データアノテーション、またはキャリブレーションされた知覚パイプラインを必要とする。 デモから学ぶことは、より直接的な代替手段を提供するが、デモの収集には人間の遠隔操作や審美的な教育が必要だ。 本稿では、ロボットがターゲットポーズの周囲のデモを自動的に生成し、手首に装着したRGB画像から直接相対的なポーズ補正を学習する自己教師付き視覚操作手法を提案する。 提案したパイプラインはROS~2とIsaac Simを使用して、ロボットの外付けキャリブレーションに明示的なカメラを必要とせずにラベル付き画像対を収集する。 平面的精細化と粗い3次元アプローチのために別々のデータセットを生成し、単一のフレームRGB観測から相対的な翻訳と回転を抑えるために畳み込みネットワークを訓練する。 実行中、粗いコントローラがまず、高さの変動で訓練されたモデルを使用してオブジェクトに接近し、次に平面データを用いて最終的なアライメントを洗練する。 本手法は、グリッパーと単眼カメラを備えた実際のUR5e協調ロボットにおいて、シミュレーションと双方で評価される。 シミュレーションでは、精製段階は最終的な平面分散を9.69mmから5.38mmに減少させる。 実世界の実験では、システムは3つの物理的物体を終端から終端につかむ試みを行い、物体の回転のない2つの物体に対して66.6%と63.6%の成功率に達した。 これらの結果は、自動生成されたデモは、限られたセットアップ作業で実用的な視覚操作をサポートするとともに、深度予測やオブジェクト依存の一般化に残る課題を露呈することを示している。

関連論文リスト

• Learning Action Manifold with Multi-view Latent Priors for Robotic Manipulation [67.16145181790522]
  本稿では,視覚・言語・行動モデル(VLA)における空間認識と操作の課題に取り組む。 幾何学的ガイダンスに基づいて多視点特徴を整列する幾何誘導型ゲート変換器(G3T)を提案する。 動作学習効率を向上させるために,有効な動作多様体上での動作を直接予測するアクション・マニフォールド・ラーニング(AML)を導入する。
  論文  参考訳（メタデータ） (2026-05-12T09:21:29Z)
• CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining [4.039082584778385]
  3次元多視点動作記述型ロボットマニピュレーション事前学習(CLAMP)のコントラスト学習について紹介する。 RGB-D画像とカメラ外部画像から計算した統合点雲から、深度と3次元座標によるマルチビュー4チャンネル画像観察を再レンダリングした。 事前訓練されたエンコーダは、オブジェクトの幾何学的および位置的情報とロボットのアクションパターンを関連付けることを学習する。
  論文  参考訳（メタデータ） (2026-01-31T23:32:54Z)
• VERM: Leveraging Foundation Models to Create a Virtual Eye for Efficient 3D Robotic Manipulation [9.95654157461894]
  マルチカメラのセットアップは計算コストを増大させ、タスク関連の詳細を抽出するトレーニングに余分な時間を費やすようにモデルを強制する。 構築した3Dポイントクラウドからの仮想タスク適応ビューを想定するVERM(Virtual Eye for Robotic Manipulation)手法を提案する。 3次元動作計画と微粒化操作を容易にするため,我々はさらに深度認識モジュールと動的粗粒化プロシージャを設計する。
  論文  参考訳（メタデータ） (2025-12-18T16:26:17Z)
• DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation [52.136378691610524]
  本稿では、3次元認識と動的インフォームド三面体特徴を学習する表現学習フレームワークDynaRendを紹介する。 マルチビューRGB-Dビデオデータに基づく事前トレーニングにより、DynaRendは空間幾何学、将来のダイナミクス、タスク意味を統合された三面体表現で共同でキャプチャする。 我々は、RLBenchとColosseumという2つの挑戦的なベンチマークでDynaRendを評価し、政策成功率、環境摂動の一般化、様々な操作タスクにおける実世界の適用性などを大幅に改善した。
  論文  参考訳（メタデータ） (2025-10-28T10:17:11Z)
• Optimizing Grasping in Legged Robots: A Deep Learning Approach to Loco-Manipulation [0.6533458718563319]
  本稿では,腕を備えた四足歩行の把握能力を高めるための枠組みを提案する。 そこで我々は,ジェネシスシミュレーション環境内にパイプラインを構築し,共通物体の把握試行の合成データセットを生成する。 このデータセットは、オンボードのRGBとディープカメラからのマルチモーダル入力を処理するU-Netのようなアーキテクチャで、カスタムCNNのトレーニングに使用された。 四脚ロボットの完全な枠組みを検証した。
  論文  参考訳（メタデータ） (2025-08-24T17:47:56Z)
• RoboPearls: Editable Video Simulation for Robot Manipulation [81.18434338506621]
  RoboPearlsは、ロボット操作のための編集可能なビデオシミュレーションフレームワークである。 3D Gaussian Splatting (3DGS)に基づいて構築されたRoboPearlsは、フォトリアリスティックでビュー一貫性のあるシミュレーションの構築を可能にする。 我々は、RLBench、COLOSSEUM、Ego4D、Open X-Embodiment、現実世界のロボットなど、複数のデータセットやシーンで広範な実験を行う。
  論文  参考訳（メタデータ） (2025-06-28T05:03:31Z)
• Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
  本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。 まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。 この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。 両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
  論文  参考訳（メタデータ） (2024-09-26T17:57:16Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• DITTO: Demonstration Imitation by Trajectory Transformation [31.930923345163087]
  そこで本研究では,RGB-Dビデオ録画による実演映像のワンショット模倣の問題に対処する。 本稿では,2段階のプロセスを提案する。第1段階では実演軌道をオフラインに抽出し,操作対象のセグメンテーションと,容器などの二次物体に対する相対運動を決定する。 オンライン軌道生成段階では、まず全ての物体を再検出し、次にデモ軌道を現在のシーンにワープし、ロボット上で実行します。
  論文  参考訳（メタデータ） (2024-03-22T13:46:51Z)
• Markerless Camera-to-Robot Pose Estimation via Self-supervised Sim-to-Real Transfer [26.21320177775571]
  本稿では,オンラインカメラ・ロボット・キャリブレーションと自己監督型トレーニング手法を備えたエンドツーエンドのポーズ推定フレームワークを提案する。 我々のフレームワークはロボットのポーズを解くための深層学習と幾何学的ビジョンを組み合わせており、パイプラインは完全に微分可能である。
  論文  参考訳（メタデータ） (2023-02-28T05:55:42Z)
• Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
  本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。 搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。 ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
  論文  参考訳（メタデータ） (2022-06-16T10:45:17Z)
• Transferable Active Grasping and Real Embodied Dataset [48.887567134129306]
  ハンドマウント型RGB-Dカメラを用いて把握可能な視点を探索する方法を示す。 現実的な3段階の移動可能な能動把握パイプラインを開発し、未確認のクラッタシーンに適応する。 本研究のパイプラインでは,カテゴリ非関連行動の把握と確保において,スパース報酬問題を克服するために,新しいマスク誘導報酬を提案する。
  論文  参考訳（メタデータ） (2020-04-28T08:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。