RoboReason: Boosting Robotics-Relevant VLM Reasoning Through Scalable Data Generation
Abstractの概要
本論文では、実ロボットのカメラデータから構築された3つの順序付けタスク（時系列フレーム順序付け、深度順序付け、物体の左右順序付け）を用いて、視覚言語モデル（VLM）におけるロボティクス関連の視覚的推論を調査しています。これらのタスクはロボットのデモンストレーションからのステレオおよび手先カメラの画像を使用し、並べ替える画像や物体の数を増やすことで難易度を変化させています。著者らはまず、いくつかの強力なVLMがこれらの現実世界の時空間順序付け問題において、特にセットサイズが大きくなるにつれて性能が低下することを示します。その上で、ロボットの軌道から訓練データを自動生成するスケーラブルなパイプライン「RoboReason」を提案し、これを用いて教師あり微調整および強化学習により小型VLMを微調整しました。その結果得られたモデルは順序付けタスクで性能が向上し、下流の視覚およびロボティクス推論ベンチマークでも一定の向上が見られましたが、すべてのタスクで一様に改善したわけではありませんでした。
新規性
本研究の際立った貢献は、ロボットの操作軌道をロボット中心の視覚的推論に適した時空間順序付けタスクへと変換する、スケーラブルなデータ生成パイプラインにあります。また、マルチビューのロボットカメラからの順序付けを、ロボティクスに関連するVLMの推論能力を向上させるための実用的な評価および訓練の基盤として位置付けています。
成果
ゼロショット評価全体において、最先端のVLMは提案されたタスクに苦戦し、順序付ける項目が増えるにつれて精度が急激に低下しました。一部の主要モデルでは2項目の設定ですら80%を下回ることが多くありました。セグメンテーションやバウンディングボックスのオーバーレイを追加することは、時間的順序付けよりも空間的順序付けに対して全般的に有効であり、マージソート形式の構造化されたテスト時計算は主に空間タスクに寄与しました。RoboReasonで生成されたデータで小型モデルを微調整すると空間的順序付けが大幅に改善され、3物体の空間タスクでははるかに大規模なVLMと同等以上の性能を示すこともありましたが、下流タスクでの成果はまちまちであり、時間的順序付けの改善はより限定的でした。
論文の注目点
- 実世界のロボットカメラを用いた順序付けタスクにより、特に順序付けるセットの要素数が増加するにつれて、現在のVLMの時空間推論に大幅な弱点があることが浮き彫りになりました。
- RoboReasonは、物体検出、セグメンテーション、深度推定ツールを用いて、DROIDの軌道から時系列、深度、および左右の順序付けデータセットを自動的に構築します。
- SFTやGRPOを介して生成データで訓練することで小型モデルの空間推論が著しく向上し、一部の下流タスクでも利点が得られますが、改善はタスクに依存し、パイプラインによってラベル付けや順序の誤りが生じる可能性もあります。