注目論文デイリーレポート

Abstractの概要

本論文では、ビデオ世界モデル向けのピクセル空間制御インターフェースであるMasked Visual Actionsを提案している。この手法では、行動はビデオ内のエンティティの部分的に明かされた軌跡として表現される。同じ微調整済みのビデオモデルを2つのモードで使用でき、ロボットの動きを明かすことでシーンの応答を予測する順モデルとして機能し、望ましいオブジェクトの動きを明かすことでロボットの行動を推論する逆モデルとして機能する。この手法は、事前学習済みのビデオモデルに対し、実機およびシミュレーションのロボットデータから得られたマスク付きのデータを用いて、完全な再学習ではなく軽量な適応による微調整を行うことで実装されている。実験では、シミュレーションおよび実環境の両方において、制御可能なビデオ生成、ポリシー評価、モデルベースのプラニング、および行動抽出の評価を行っている。

新規性

主な新規性は、ロボットの行動をピクセル空間で直接マスクされた軌跡として表現し、制御信号を事前学習済みビデオモデルが学習した表現と一致させた点にある。また、このマスキングインターフェースにより、どのエンティティの可視化を切り替えるかを変更するだけで、単一のチェックポイントを順モデル、逆モデル、または無条件生成器として機能させることができ、順モデル型のマスクでのみ学習したにもかかわらずゼロショットでの逆モデル利用を可能にしている。

成果

15時間分のデータでの微調整により、未知のロボット形態に対しても、画像からビデオへの変換、軌跡条件付き、および生の行動をベースラインとした場合よりも優れたビデオ生成評価指標を達成し、BEHAVIORデータセットでの強力な汎化性能を示した。下流タスクの利用においては、モデル空間で生成されたポリシーの軌跡がRoboCasaでの実際のタスク成否と強く相関し（r = 0.982と報告）、候補となる未来をランク付けすることでプラニングのタスク成功率が向上し、逆パイプラインはCoffeeServeMugタスクで90%の成功率を達成した。

論文の注目点

1. Masked Visual Actionsは、形態に依存する行動ベクトルや疎な視覚的手がかりではなく、密で空間的に整合の取れたマスク軌跡を使用してビデオモデルを条件付ける。
2. 微調整された単一のチェックポイントで、ロボットの動きからシーンへの影響を予測する順方向の予測と、目的とするオブジェクトの動きからロボットの行動を合成する逆方向の推論の両方をサポートする。
3. 本手法はビデオ生成にとどまらず、シミュレーションおよび実環境のロボット設定におけるポリシー評価、モデルベースのプラニング、行動抽出など、実践的な有用性を示している。

参考リンク

• arXiv: https://arxiv.org/abs/2607.19343v1
• Fugu-MT: https://fugumt.com/fugumt/paper_check/2607.19343v1
• Hugging Face Papers: https://huggingface.co/papers/2607.19343
• Project: https://masked-visual-actions.github.io