論文の概要: Leveraging Human-In-The-Loop Demonstrations in Reinforcement Learning for Digital Twin-Driven Robot Flexibility

• arxiv url: http://arxiv.org/abs/2610.12140v1
• Date: Thu, 08 Oct 2026 15:26:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.117229
• Title: Leveraging Human-In-The-Loop Demonstrations in Reinforcement Learning for Digital Twin-Driven Robot Flexibility
• Title（参考訳）: デジタル二輪駆動ロボットの柔軟性向上のための強化学習における人間-ロボットデモの活用
• Abstract要約: 本稿では、デジタルツイン(DT)、強化学習(RL)、人間デモを組み合わせたオンラインオンライントレーニングフレームワークを提案する。 私たちのDTは、カメラのフィードを通じて物理的システムとリアルタイムで同期し、仮想ロボットは現実世界のフィードバックからその観察とポリシーを更新できる。 デュアルアクターフレームワークは、RLアクターに直接模倣損失を加えることなく、模倣学習(IL)を統合する。
• 参考スコア（独自算出の注目度）: 3.8313080494873426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Growing automation makes collaborative robots work in more variable environments, increasing the need for adaptation. We propose a human-in-the-loop online training framework combining a digital twin (DT), reinforcement learning (RL), and human demonstrations. Unlike DTs used mainly to generate synthetic data before task execution, our DT is synchronized with the physical system in real time through camera feeds, allowing the virtual robot to update its observations and policy from real-world feedback. A dual actor framework integrates imitation learning (IL) without adding a direct imitation loss to the RL actor, so demonstrations can guide adaptation instead of manual reprogramming. The proposed framework is demonstrated on the Ufactory Xarm5 collaborative robot, where the robot's end-effector aims to reach the target position while avoiding obstacles. The experiments show that the framework can resume training after a change in the physical workspace and that, with a fixed set of non-optimal demonstrations, the dual actor framework achieves a much higher final success rate than two methods that add an imitation loss to the actor. The same pattern holds with real human demonstrations collected in virtual reality (VR): with demonstrations that never reach the goal, the dual actor framework reached 83-100% mean deterministic evaluation success, against 0-17% for the two imitation-loss methods.
• Abstract（参考訳）: 自動化を成長させることで、コラボレーションロボットはより多様な環境で動作し、適応の必要性が増す。 本稿では、デジタルツイン(DT)、強化学習(RL)、人間デモを組み合わせたオンラインオンライントレーニングフレームワークを提案する。 タスク実行前に主に合成データを生成するDTとは異なり、私たちのDTはカメラフィードを介して物理システムとリアルタイムで同期し、仮想ロボットはその観察とポリシーを現実世界のフィードバックから更新することができる。 デュアルアクターフレームワークは、RLアクターに直接模倣損失を加えることなく、模倣学習(IL)を統合する。 提案するフレームワークは,ロボットのエンドエフェクタが障害物を避けながら目標位置に到達することを目的とした,Ufactory Xarm5コラボレーティブロボット上で実証されている。 実験の結果、このフレームワークは、物理ワークスペースの変更後にトレーニングを再開することができ、固定された非最適デモセットにより、デュアルアクターフレームワークは、アクターに模倣損失を加える2つの方法よりもはるかに高い最終成功率を達成することが示された。 同じパターンは、バーチャルリアリティ(VR)で収集された実際の人間のデモと一致している: 目標に到達しないデモで、デュアルアクターフレームワークは、平均決定論的評価の成功率83-100%に達した。

関連論文リスト

• Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
  ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。 これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。 その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
  論文  参考訳（メタデータ） (2026-10-05T11:08:50Z)
• Skel-WAM: A Hand-Skeleton-Conditioned World Action Model for Human-to-Robot Manipulation Transfer [61.50662046794264]
  Skel-WAMは,ハンドスケルトン・モーション・インタフェースの統一による差異をブリッジする世界アクション・モデルである。 主な洞察は、人間の動きとロボットの動きを共通のハンドトポロジーで調整し、シーン内の地面の動きを、明示的な手の動きをエンコードする2.5Dキーポイントと組み合わせることである。 ビデオとキーポイントの専門家は、Mixture-of-Transformersを通じて視覚と骨格のダイナミクスを共同で学習し、ロボット訓練されたアクションエキスパートはこれらの予測を実行可能なコントロールにマップする。
  論文  参考訳（メタデータ） (2026-09-18T09:06:15Z)
• WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos [38.959415159248046]
  WALAは、アクションラベル付きデモとアクションフリービデオの両方から実行可能な潜在アクションを学ぶためのフレームワークである。 WALAはRoboTwin上で高いパフォーマンスを実現し,RoboCasa上での最先端の成果を平均75.2%で実現している。
  論文  参考訳（メタデータ） (2026-07-13T11:02:04Z)
• RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation [48.828787848144806]
  本稿では,実際のロボットを生成世界モデルに置き換えることで,物理的な制約からデータ収集を分離するパラダイムであるデジタル遠隔操作を紹介する。 我々は、このパラダイムをRynnWorld-Teleopでインスタンス化する。これは、深度対応の骨格条件、ビデオ拡散変換器におけるプログレッシブな人間とロボットのトレーニング、自動回帰蒸留を統合するシステムである。 このパイプラインは生成プロセスを単一パスの推論に圧縮し、単一のH100 GPU上で40以上のFPS、リアルタイムインタラクティブな生成を可能にする。
  論文  参考訳（メタデータ） (2026-07-07T17:58:11Z)
• MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
  人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。 MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
  論文  参考訳（メタデータ） (2025-12-17T12:59:41Z)
• MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
  低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。 視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。 視点安定化のためにEgoStabilizerを提案する。 動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
  論文  参考訳（メタデータ） (2025-09-26T11:05:10Z)
• Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
  我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。 PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。 ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-08-13T13:54:51Z)
• DemoDiffusion: One-Shot Human Imitation using pre-trained Diffusion Policy [33.18108154271181]
  ロボットが自然環境下で操作タスクを実行できるシンプルでスケーラブルな方法であるDemoDiffusionを提案する。 まず、人間の実演における手の動きは、ロボットのエンドエフェクター軌道に有用な事前情報を提供する。 第二に、この再ターゲティングされた動きはタスクの全体構造をキャプチャするが、コンテキスト内でのもっともらしいロボットの動作とうまく一致しないかもしれない。
  論文  参考訳（メタデータ） (2025-06-25T17:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。