論文の概要: RynnWorld-Latent: A Cross-Embodiment World Model Conditioned on Universal Latent Actions

• arxiv url: http://arxiv.org/abs/2610.36791v1
• Date: Tue, 27 Oct 2026 07:54:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.539016
• Title: RynnWorld-Latent: A Cross-Embodiment World Model Conditioned on Universal Latent Actions
• Title（参考訳）: RynnWorld-Latent:Universal Latent Actionsを前提としたクロス・エンボディメント・ワールドモデル
• Abstract要約: 本稿では、RynnLAMによって導入された3Dグラウンドの潜伏動作を共用条件インタフェースとして利用する、クロス・エンボディメント・ビデオワールドモデルであるRynnWorld-Latentを紹介する。 RynnWorld-Latentは、グローバルアクショントークンと、アクションを将来のビデオラテントと整合させるID-dローカルパスを組み合わせる。
• 参考スコア（独自算出の注目度）: 52.064217872870806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning controllable world dynamics from heterogeneous interaction videos is challenging because robot embodiments use incompatible action spaces, while human videos lack native control labels. We present RynnWorld-Latent, a cross-embodiment video world model that uses the 3D-grounded latent actions introduced by RynnLAM as a shared conditioning interface. This representation enables joint pretraining on human interaction videos, robot demonstrations, and simulation rollouts without requiring a common native action space. Built on a pretrained video transformer, RynnWorld-Latent combines global action tokens with an identity-initialized local pathway that aligns actions with future video latents. We pretrain on 23 datasets comprising approximately 553.5M frames and adapt the model to target robots through post-training. The framework supports two data-generation routes: digital teleoperation uses target robot commands to generate action-video demonstrations, while latent-action synthesis transfers source motion to an edited initial frame and pairs the resulting rollout with retargeted pseudo robot actions. Experiments show improved video prediction metrics on public benchmarks and two real-robot platforms, alongside qualitative action following when different action sequences share the same initial observation. Synthetic mid-training improves policy success rates on LIBERO and LIBERO-Plus, and both generation routes improve real-world policy success rates over real-demonstration-only training in the evaluated settings. These results support universal latent actions as a scalable interface for learning controllable visual dynamics across heterogeneous embodiments.
• Abstract（参考訳）: ヘテロジニアスなインタラクションビデオから制御可能な世界ダイナミクスを学ぶことは、ロボットの体が非互換なアクション空間を使用するのに対して、人間のビデオはネイティブなコントロールラベルを欠いているため、難しい。 本稿では、RynnLAMによって導入された3Dグラウンドの潜伏動作を共振条件インタフェースとして利用する、クロス・エンボディメント・ビデオワールドモデルであるRynnWorld-Latentを紹介する。 この表現は、共通のネイティブアクションスペースを必要とせずに、人間のインタラクションビデオ、ロボットデモ、シミュレーションロールアウトで共同事前トレーニングを可能にする。 RynnWorld-Latentは、事前訓練されたビデオトランスフォーマー上に構築され、グローバルアクショントークンと、アクションを将来のビデオラテントと整合させるアイデンティティ初期化ローカルパスを組み合わせる。 約553.5Mフレームからなる23のデータセットを事前訓練し、トレーニング後ロボットを対象とするモデルを適用した。 このフレームワークは2つのデータ生成ルートをサポートしている: デジタル遠隔操作はターゲットロボットコマンドを使用してアクションビデオのデモを生成するが、潜在アクション合成はソースの動きを編集された初期フレームに転送し、その結果のロールアウトと、再ターゲットされた擬似ロボットアクションとをペアリングする。 実験では、公開ベンチマークと2つの実ロボットプラットフォーム上のビデオ予測指標の改善と、異なるアクションシーケンスが同じ初期観測を共有している場合の定性的なアクションが示されている。 シンセティック・ミッドトレーニングは,LIBEROとLIBERO-Plusの政策成功率を向上させるとともに,評価環境における実演のみのトレーニングよりも現実の政策成功率を向上させる。 これらの結果は、異種エボディメント間の制御可能な視覚力学を学習するためのスケーラブルなインタフェースとして、普遍的な潜在動作をサポートする。

関連論文リスト

• ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning [70.23139587050669]
  本稿では,世界ダイナミクスのアクション推論を基盤としたVLA学習フレームワークであるThinkWorldを紹介する。 ThinkWorldは個々のアクションを、個別のモーショントークンのシーケンスであるChain-of-Dynamics(CoD)として考える。 まず、行動ラベルによる実証実験を行い、各CoDが引き起こす未来を予測し、その予測が観測結果とよりよく一致するものを強化する。
  論文  参考訳（メタデータ） (2026-10-27T17:59:52Z)
• Leveraging Human-In-The-Loop Demonstrations in Reinforcement Learning for Digital Twin-Driven Robot Flexibility [3.8313080494873426]
  本稿では、デジタルツイン(DT)、強化学習(RL)、人間デモを組み合わせたオンラインオンライントレーニングフレームワークを提案する。 私たちのDTは、カメラのフィードを通じて物理的システムとリアルタイムで同期し、仮想ロボットは現実世界のフィードバックからその観察とポリシーを更新できる。 デュアルアクターフレームワークは、RLアクターに直接模倣損失を加えることなく、模倣学習(IL)を統合する。
  論文  参考訳（メタデータ） (2026-10-08T15:26:12Z)
• AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
  汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。 アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。 本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
  論文  参考訳（メタデータ） (2026-09-16T14:07:06Z)
• AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
  我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。 私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。 大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-29T12:55:15Z)
• WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos [38.959415159248046]
  WALAは、アクションラベル付きデモとアクションフリービデオの両方から実行可能な潜在アクションを学ぶためのフレームワークである。 WALAはRoboTwin上で高いパフォーマンスを実現し,RoboCasa上での最先端の成果を平均75.2%で実現している。
  論文  参考訳（メタデータ） (2026-07-13T11:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。