論文の概要: Real2Sem2Real: 3D Semantic Augmentations for Robot Learning from a Single Human RGB Demonstration

• arxiv url: http://arxiv.org/abs/2610.28880v1
• Date: Tue, 20 Oct 2026 19:59:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.137041
• Title: Real2Sem2Real: 3D Semantic Augmentations for Robot Learning from a Single Human RGB Demonstration
• Title（参考訳）: Real2Sem2Real:1人のRGBによるロボット学習のための3Dセマンティック拡張
• Abstract要約: Real2Sem2Realは、人間の実演の1つのモノクロRGBビデオを何千ものロボットのデモに変換する、リアルからセマンティック・トゥ・リアルなパイプラインだ。 R2Sem2R は DINOv3 で蒸留したガウススプラットで各対象の SE(3) のポーズを追跡し、既存の手法と推定された距離深さのFoundationPose よりも優れている。 R2Sem2Rは、人間の手を従兄弟に拡張可能なロボットグリップにマッピングする。
• 参考スコア（独自算出の注目度）: 0.3694429692322631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human video scales easily and does not need robot hardware, but existing methods require depth sensing, overlay the robot onto 2D video, or generate data only for the demonstrated objects. We present Real2Sem2Real (R2Sem2R), a real-to-semantic-to-real pipeline that turns one monocular RGB video of a human demonstration into thousands of robot demonstrations across the semantic object instances of a category. R2Sem2R tracks the SE(3) pose of each object with DINOv3-distilled Gaussian splats, outperforming existing methods and FoundationPose with estimated metric depth. R2Sem2R then aligns digital cousins, each generated from one or a few photographs, to the demonstrated objects with a semantic alignment. This alignment matches whole objects and the functional regions of target objects, such as a coffee machine's tray. R2Sem2R maps the human hand to a feasible robot grasp that extends to the cousins. Robot demonstrations are generated either in IsaacSim, for photorealistic rendering, or MuJoCo, for contact physics, and R2Sem2R can generate over 2,000 episodes in about two hours. On two real robots and four tasks, we train a vision-language-action policy on data from one human video per task, and policies trained on our data match or exceed policies trained on teleoperation across diverse object instances. The project page is available at https://real2sem2real.github.io/.
• Abstract（参考訳）: 人間のビデオは容易にスケールでき、ロボットのハードウェアは必要ないが、既存の方法は深度検知、ロボットを2Dビデオにオーバーレイしたり、実証対象に限ってデータを生成する必要がある。 我々はReal2Sem2Real(R2Sem2R)を紹介した。Real2Sem2Realはリアルからセマンティック・トゥ・リアルのパイプラインで、人間のデモの1つのモノクラーRGBビデオを、カテゴリのセマンティックオブジェクトインスタンス全体にわたる数千のロボットデモに変換する。 R2Sem2R は DINOv3 で蒸留したガウススプラットで各対象の SE(3) のポーズを追跡し、既存の手法と推定された距離深さのFoundationPose より優れている。 R2Sem2Rは、それぞれ1枚または数枚の写真から生成されたデジタル従兄弟を、セマンティックアライメントで示されるオブジェクトにアライメントする。 このアライメントは、コーヒーマシンのトレイのような対象のオブジェクト全体と機能領域とを一致させる。 R2Sem2Rは、人間の手を従兄弟に拡張可能なロボットグリップにマッピングする。 ロボットのデモはIsaacSimで、フォトリアリスティックレンダリングではMuJoCoで、R2Sem2Rで約2時間で2000回以上のエピソードを生成できる。 実際の2つのロボットと4つのタスクで、タスクごとに1つのヒューマンビデオからのデータに対してビジョン言語アクションポリシーをトレーニングし、データマッチングでトレーニングされたポリシーは、さまざまなオブジェクトインスタンス間で遠隔操作でトレーニングされたポリシーを超えます。 プロジェクトページはhttps://real2sem2real.github.io/.com/で公開されている。

関連論文リスト

• Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
  ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。 これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。 その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
  論文  参考訳（メタデータ） (2026-10-05T11:08:50Z)
• Robot-Factored World Models via Robot Rendering [25.12876640584098]
  アクション条件付きビデオワールドモデルは、初期観測と行動信号から将来の観測を予測する。 本研究では,ロボット特異的な2つの要素を世界モデル外へ移動させるロボット駆動世界モデルを提案する。 実験により, レンダリングインタフェースはベクトル条件付きベースラインより優れており, 未知のロボットエンボディメント推論に一般化されていることがわかった。
  論文  参考訳（メタデータ） (2026-07-24T17:59:57Z)
• GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
  GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。 GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。 我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。 GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
  論文  参考訳（メタデータ） (2026-06-03T17:57:45Z)
• EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents [85.77432303199176]
  EmbodMocapは2つの動くiPhoneを使ったポータブルで安価なデータ収集パイプラインである。 私たちのキーとなるアイデアは、二重RGB-Dシーケンスを共同で校正し、人間とシーンの両方を再構築することです。 収集したデータに基づいて、我々は3つの具体的AIタスクを強化した: モノクラーヒューマン・シーン・リコンストラクション(モノクラーヒューマン・シーン・リコンストラクション)、メトリックスケールで世界空間に整合した人間とシーンを出力するフィードフォワードモデル、物理ベースのキャラクターアニメーション。
  論文  参考訳（メタデータ） (2026-02-26T16:53:41Z)
• RoboPaint: From Human Demonstration to Any Robot and Any View [9.083647729839688]
  本研究では,人間による実演をロボットが実行可能な環境特化学習データに変換するためのリアルタイムデータ収集とデータ編集パイプラインを提案する。 そこで本研究では,10種類のオブジェクト操作タスクに対して,デキスハンドトラジェクトリの再ターゲットが84%の成功率を達成することを示す。 複雑なデクサラス操作のために,パフォーマンス損失を最小限に抑えた,スケーラブルで費用対効果の高い遠隔操作の代替手段を提供する。
  論文  参考訳（メタデータ） (2026-02-05T05:45:12Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)
• Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
  本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。 まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。 この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。 両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
  論文  参考訳（メタデータ） (2024-09-26T17:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。