論文の概要: Robotizing Human Videos with Physically Consistent Interactions

• arxiv url: http://arxiv.org/abs/2610.06137v1
• Date: Mon, 05 Oct 2026 11:08:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 18:26:57.209213
• Title: Robotizing Human Videos with Physically Consistent Interactions
• Title（参考訳）: 物理的に一貫したインタラクションによる人間ビデオのロボット化
• Abstract要約: ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。 これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。 その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
• 参考スコア（独自算出の注目度）: 54.27025073220947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human videos offer scalable manipulation data, but the embodiment gap between human hands and robot manipulators limits their direct use. Existing video-editing methods replace hands with rendered robots, yet inaccurate interaction reconstruction and compositing can produce inconsistent grasps and implausible robot-object occlusions. We address these failures from two complementary physical aspects: interaction geometry and scene visibility. First, an interaction-aware contact reconstruction module combines hand-object segmentation with mesh-level contact prediction to recover dense 3D contacts, then converts them into temporally stabilized grasps for parallel-jaw grippers. Second, a depth-aware compositing module uses scene and robot depth to enforce physically consistent robot-object occlusions. The resulting videos preserve the interaction structure of human demonstrations in a robot-compatible form and are co-trained with robot demonstrations. Using identical human videos and robot data, we compare against robot-only training and the original Masquerade pipeline. Across four RoboTwin tasks and two Diffusion Policy visual encoders, our method achieves the highest average success rates, with especially strong gains under out-of-distribution scene variation. Real-world deployment further shows that the proposed co-training approach improves robustness to visual distractors when the task geometry is observable, while performance on depth-sensitive grasps remains limited by the single-camera setup.
• Abstract（参考訳）: 人間のビデオは、スケーラブルな操作データを提供するが、人間の手とロボットマニピュレータの間のエンボディメントのギャップは、直接の使用を制限する。 既存のビデオ編集手法は、手はレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築と合成は、一貫性のない把握と不確実なロボット・オブジェクトの閉塞を生み出す。 これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。 まず、対話対応の接触再構成モジュールは、手オブジェクトのセグメンテーションとメッシュレベルの接触予測を組み合わせることで、密集した3D接触を復元し、それらを時間的に安定化してパラレルジャウグリップパーに変換する。 第二に、深度認識合成モジュールはシーンとロボットの深度を利用して、物理的に一貫したロボットオブジェクトの閉塞を強制する。 その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。 人間のビデオとロボットのデータを使って、ロボットのみのトレーニングと最初のMasqueradeパイプラインと比較する。 4つのRoboTwinタスクと2つのDiffusion Policyビジュアルエンコーダにまたがって,本手法は最大成功率を達成する。 実世界の展開では,タスクジオメトリが観測可能な場合,コトレーニング手法が視覚的邪魔者に対して堅牢性を向上させる一方で,奥行きに敏感なグリップのパフォーマンスは単一カメラの設定によって制限されていることが示されている。

関連論文リスト

• AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
  汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。 アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。 本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
  論文  参考訳（メタデータ） (2026-09-16T14:07:06Z)
• EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning [10.780924973366737]
  EgoInfinityは、ロボットの獲得と学習のためのWebスケールデータ生成を可能にする、汎用的な4Dハンドオブジェクトインタラクションデータエンジンである。 EgoInfinity(エゴインフィニティ)は、知覚、セグメンテーション、再構築、相互認識の洗練、そして従来の計算不可能なビデオ対アクション問題を自動化するための、モジュール式エンジンである。
  論文  参考訳（メタデータ） (2026-06-16T00:44:16Z)
• GenHOI: Contact-Aware Humanoid-Object Interaction by Imitating Generated Videos without Task-Specific Training [20.414478780328437]
  既存の方法は、しばしば時間を要するタスク固有のポリシートレーニングを必要とするか、厳格な軌跡の再生に依存している。 我々は,人型ロボットがゼロショット方式で多様なオブジェクトインタラクションタスクを実行できるフレームワークであるtextitGenHOIを提案する。 提案手法を多種多様なオブジェクト・インタラクション・タスクにまたがる広範囲なシミュレーションおよび実世界の実験で検証する。
  論文  参考訳（メタデータ） (2026-06-11T07:31:05Z)
• H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
  本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。 私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。 テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
  論文  参考訳（メタデータ） (2025-12-10T07:59:45Z)
• RobotSeg: A Model and Dataset for Segmenting Robots in Image and Video [56.9581053843815]
  画像とビデオにおけるロボットセグメンテーションの基礎モデルであるRobotSegを紹介する。 ロボットへの適応の欠如、手動のプロンプトへの依存、フレーム単位のトレーニングマスクアノテーションの必要性に対処する。 それは、画像とビデオの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-11-28T07:51:02Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。