RynnUnify: Towards Unified Embodied Brain
Abstractの概要
RynnUnifyは、動画と言語の推論を交互に行うことで、身体性理解、長期的な視覚的計画、およびロボット制御を結びつけるように設計された16Bの統合身体性モデルです。本アーキテクチャは、8Bの自己回帰型推論器と8Bの動画生成器を組み合わせ、連続するサブタスク間での一貫性を維持するためにチャンク間シーンメモリ、時間的条件付け、および複数の生成モードで拡張されています。また本論文では、未観測の将来状態を推論するために動画予測を選択的に呼び出すエージェント的拡張と、理解および予測能力を制御ポリシーへと変換するワールドアクション拡張を提案しています。これらの能力を評価するため、著者らは長期的な視覚計画のためのRynn-VPと予測的身体性推論のためのRynn-GEUという2つの新ベンチマークを提案し、シミュレーションおよび実ロボットでのテストによって補完しています。
新規性
本論文の主な新規性は、予測されたシーンの進展が長期にわたる後続のサブタスク計画を直接導くように、推論と動画予測を明示的に交互に行う統合身体性フレームワークにあります。さらにこの基盤を2つの方向に拡張しており、未観測状態を推論するために動画生成を動的に呼び出す強化学習で訓練されたエージェントと、視覚的ワールドモデリングとロボット制御を統合するワールドアクションモデルを提案しています。
成果
RynnUnifyは、評価された統合マルチモーダルモデルの中で最も高い身体性理解の平均スコアを達成し、Cosmos 3 Nanoと比較してRynn-VPの総合スコアを9.75ポイント向上させました。エージェント的拡張は直接推論と比較してRynn-GEUの平均スコアを6.0ポイント向上させ、ワールドアクション拡張は選定された20のRoboCasa365複合タスクで51.5%の成功率、3つの実ロボットタスクで平均46.7%の成功率を達成しました。
論文の注目点
- RynnUnifyは8Bの自己回帰型推論器と8Bの動画生成器を統合し、長期的な身体性計画のための動画と言語の交互推論を可能にしている。
- 著者らは、持続的な視覚的計画および未観測の将来状態に関する推論を評価するための専用ベンチマークとしてRynn-VPとRynn-GEUを導入している。
- 本アーキテクチャは、選択的な動画生成を行う強化学習訓練済みエージェント拡張と、シミュレーションおよび実機でマルチステップ操作を達成するワールドアクションモデル拡張をサポートしている。