RepWAM: World Action Modeling with Representation Visual-Action Tokenizers
Abstractの概要
RepWAMは、ロボットの操作向けに設計された表現中心の世界行動モデル（world action model）です。この手法は、再構成指向のビデオ潜在変数を意味論的な視覚・行動トークン化パイプラインに置き換えるものであり、視覚潜在変数を凍結された視覚基盤モデルにアライメントさせ、潜在行動トークンを視覚状態間の遷移として学習します。これらのアライメントされたトークンを利用して、言語指示の下で将来の視覚状態と潜在行動を共同予測する因果拡散トランスフォーマーを事前学習し、その後、閉ループ制御のために実ロボットのデモンストレーションに適応させます。本論文では、現実世界のFranka双腕タスク、RoboTwin 2.0シミュレーション、およびトークナイザーと潜在行動設計に関する複数のアブレーションにおいて本アプローチを評価しています。
新規性
主な新規性は表現視覚・行動トークナイザーにあり、再構成に焦点を当てたビデオトークナイザーや個別の行動空間に依存するのではなく、意味論的にアライメントされた視覚トークンと潜在行動トークンを共有空間内で共同で構築する点です。また、エンボディメント（身体性）固有のロボット制御に適応させる前に、将来の視覚状態と潜在行動を事前学習するという2段階の世界行動モデリング設定を用いている点も特徴です。
成果
現実世界の実験（各タスク10回のロールアウト）において、RepWAM-5Bは果物ピッキングで60%、引き出し押しで80%、試験管挿入で60%の成功率を達成し、後者2セットのタスクで報告されたベースラインを上回り、最初のタスクでは最高結果と同等になりました。RoboTwin 2.0では5BモデルがEasyタスクで89.3、Hardタスクで88.4に到達し、アブレーションにより、提案された意味論的トークナイザーと2段階の潜在行動学習が、再構成指向や共同予測の代替手法と比べて、視覚ダイナミクス指標、開ループ行動スコア、および閉ループ操作の成功率を向上させることが示されました。
論文の注目点
- RepWAMは、ビデオ潜在変数を凍結された視覚基盤モデルとアライメントさせ、潜在行動を視覚状態間の意味論的な遷移として学習する。
- 世界行動モデルは、言語条件付けの下で将来の視覚状態と潜在行動を共同生成し、その後、制御のためにロボットのデモンストレーションに適応される。
- 実験とアブレーションにより、比較対象となる代替手法に対して、実ロボットの操作、RoboTwin 2.0、およびトークナイザーや行動モデリングの評価指標において向上が見られることが示された。
参考リンク
- arXiv: https://arxiv.org/abs/2606.13674v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.13674v1
- Hugging Face Papers: https://huggingface.co/papers/2606.13674
- GitHub: https://github.com/wdrink/RepWAM
- Project: https://wdrink.github.io/RepWAM