論文の概要: IM-ENGINE: Image Editing for Embodied Data Generation
- arxiv url: http://arxiv.org/abs/2609.06279v1
- Date: Sat, 05 Sep 2026 22:21:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 06:11:29.26022
- Title: IM-ENGINE: Image Editing for Embodied Data Generation
- Title（参考訳）: IM-ENGINE: 身体データ生成のための画像編集
- Abstract要約: 本稿では,画像編集を具体化データ生成の中間表現として利用するシミュレータ基底パイプラインIM-ENGINEを提案する。
パイプラインをデクスタラスなグリップ合成とゴール状態生成のためにインスタンス化する。
この生成的セマンティック先行とシミュレータ基底の組み合わせは、ロボット学習のためのスケーラブルなタスク関連監視を可能にする。
- 参考スコア（独自算出の注目度）: 32.31246464559414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning-based manipulation requires supervision that is both semantically meaningful and physically executable, but current data pipelines often provide only one of these properties. Human demonstrations capture intent but are costly to collect and constrained by the human-robot embodiment gap, while simulation can scale data generation but often under-specifies functional behavior. We present IM-ENGINE, a simulator-grounded pipeline that uses image editing as an intermediate representation for embodied data generation. Given a rendered scene with known geometry, depth, segmentation, and camera parameters, IM-ENGINE edits the image to inject task-relevant semantics, recovers explicit 3D state using simulator priors and an unchanged anchor object, refines the state in physics, and converts it into robot-executable supervision. We instantiate the pipeline for dexterous grasp synthesis and goal-state generation. For grasping, IM-ENGINE generates a human grasp in image space, recovers the hand-object interaction, retargets it to a robot hand, and refines it into physically validated robot grasps. For goal generation, it edits a rendered scene into a desired outcome, recovers the target-object pose, and refines it into physically valid, semantically meaningful goals and trajectories. This combination of generative semantic priors and simulator grounding enables scalable task-relevant supervision for robot learning.
- Abstract（参考訳）: 学習ベースの操作は意味論的かつ物理的に実行可能な監視を必要とするが、現在のデータパイプラインはこれらの特性の1つしか提供しないことが多い。
人間のデモンストレーションは意図を捉えているが、人間とロボットのエンボディメントのギャップによって収集・制約されるためコストがかかり、シミュレーションはデータ生成をスケールできるが、しばしば機能的振る舞いを過小評価する。
本稿では,画像編集を具体化データ生成の中間表現として利用するシミュレータ基底パイプラインIM-ENGINEを提案する。
IM-ENGINEは、既知の幾何学、深度、セグメンテーション、カメラパラメータのレンダリングシーンを与えられた後、イメージを編集してタスク関連セマンティクスを注入し、シミュレータープリエントと不規則なアンカーオブジェクトを使用して明示的な3D状態を復元し、物理学の状態を洗練させ、ロボットが実行可能な監視に変換する。
パイプラインをデクスタラスなグリップ合成とゴール状態生成のためにインスタンス化する。
IM-ENGINEは、画像空間における人間の握りを生成し、手と物体の相互作用を回復し、それをロボットハンドに再ターゲットし、物理的に検証されたロボットグリップに洗練する。
ゴール生成のために、レンダリングされたシーンを望ましい結果に編集し、ターゲットオブジェクトのポーズを復元し、物理的に有効で意味論的に意味のある目標と軌道に洗練する。
この生成的セマンティック先行とシミュレータ基底の組み合わせは、ロボット学習のためのスケーラブルなタスク関連監視を可能にする。
関連論文リスト
- RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction [51.76737991200891]
H2R(Human-to-robot)オブジェクトハンドオーバは、人間とロボットのコラボレーションの基本的な能力である。
本稿では,RGB-DビデオデータセットであるHand2Botを紹介する。
ハンドオブジェクトの一貫性を確保しつつ,現実的なハンドオーバシーケンスを合成する生成パイプラインであるPassGenを提案する。
論文 参考訳（メタデータ） (2026-08-13T09:55:59Z) - GenHOI: Contact-Aware Humanoid-Object Interaction by Imitating Generated Videos without Task-Specific Training [20.414478780328437]
既存の方法は、しばしば時間を要するタスク固有のポリシートレーニングを必要とするか、厳格な軌跡の再生に依存している。
我々は,人型ロボットがゼロショット方式で多様なオブジェクトインタラクションタスクを実行できるフレームワークであるtextitGenHOIを提案する。
提案手法を多種多様なオブジェクト・インタラクション・タスクにまたがる広範囲なシミュレーションおよび実世界の実験で検証する。
論文 参考訳（メタデータ） (2026-06-11T07:31:05Z) - OASIS: From Simulation Data Collection to Real-World Humanoid Loco-Manipulation [51.37436817948304]
OASISはヒューマノイドのロコ操作のためのシミュレーションデータ駆動のフレームワークである。
3次元生成モデルを用いて実世界の画像から現実的なオブジェクト資産を再構築する。
ゼロショットデプロイメントでは、実際のロボット遠隔操作データでトレーニングされたタスクよりも、ほとんどのタスクで高い成功率を達成する。
論文 参考訳（メタデータ） (2026-06-07T10:01:53Z) - GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。
GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。
我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。
GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
論文 参考訳（メタデータ） (2026-06-03T17:57:45Z) - V-Dreamer: Automating Robotic Simulation and Trajectory Synthesis via Video Generation Priors [30.872127145725187]
V-Dreamerは、オープン語彙でシミュレーション可能な操作環境を生成する、完全に自動化されたフレームワークである。
V-Dreamerは、物理的に接地された3Dシーンを構成する新しい生成パイプラインを使用している。
我々は,本ポリシーがシミュレーションにおいて未確認オブジェクトに対して堅牢に一般化し,効率的なsim-to-real転送を実現することを示す。
論文 参考訳（メタデータ） (2026-03-19T12:00:04Z) - FlowHOI: Flow-based Semantics-Grounded Generation of Hand-Object Interactions for Dexterous Robot Manipulation [23.19464039872024]
FlowHOIは、時間的にコヒーレントなHOIシーケンスを生成するフローマッチングフレームワークである。
本研究では,FlowHOIが最も高い動作認識精度と1.7$times$高い物理シミュレーション成功率を達成することを示す。
論文 参考訳（メタデータ） (2026-02-13T20:46:08Z) - SAGE: Scalable Agentic 3D Scene Generation for Embodied AI [67.43935343696982]
既存のシーン生成システムは、しばしばルールベースまたはタスク固有のパイプラインに依存し、アーティファクトと物理的に無効なシーンを生成する。
本稿では,ユーザが特定した具体的タスクを与えられたエージェントフレームワークであるSAGEについて,その意図を理解し,大規模にシミュレーション可能な環境を自動的に生成する。
得られた環境は現実的で多様性があり、政策訓練のための現代的なシミュレーターに直接デプロイできる。
論文 参考訳（メタデータ） (2026-02-10T18:59:55Z) - Sim2Real Transfer for Vision-Based Grasp Verification [7.9471205712560264]
本稿では,ロボットグリップが物体の把握に成功しているかどうかを判断するために,視力に基づく検証手法を提案する。
本手法は,ロボットのグリップを検知し,検出するための,最初のYOLOに基づく物体検出モデルである2段階アーキテクチャを用いている。
実世界のデータキャプチャの限界に対処するために,多様な把握シナリオをシミュレートする合成データセットであるHSR-Grasp Synthを導入する。
論文 参考訳（メタデータ） (2025-05-05T22:04:12Z) - SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories [124.24041272390954]
手動物体の相互作用をモデル化することは、ロボットと具体化されたAIシステムを前進させる大きな可能性を秘めている。
SIGHTは、1つの画像から現実的で物理的に妥当な3Dハンドオブジェクトインタラクショントラジェクトリを生成することに焦点を当てた,新しいタスクである。
SIGHT-Fusionは,データベースから最もよく似た3Dオブジェクトメッシュを抽出し,この課題に対処する,新しい拡散型画像文条件付き生成モデルを提案する。
論文 参考訳（メタデータ） (2025-03-28T20:53:20Z) - Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
我々はPolarisという対話型ロボット操作フレームワークを紹介した。
ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。
本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
論文 参考訳（メタデータ） (2024-08-15T06:40:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。