ViSkill: Reinforcing VLM Agents with Evolving Visual-Native Skills
Abstractの概要
ViSkillは、成功したインタラクションをテキストに縮約するのではなく、複合的な視覚スキルカードとして保存する視覚言語モデル（VLM）エージェント向けの強化学習フレームワークです。これらの視覚ネイティブなスキルは、空間レイアウト、行動と状態の推移、および要約された戦略記述をエージェントが直接利用可能な形式で保持します。訓練および推論時、システムは幾何学的類似性を用いてスキルを検索し、視覚的コンテキストとして活用するとともに、そこから補助的なスキル誘導型報酬を導出します。成功した軌道は再びライブラリへと蒸留され、初期探索を改善するオプションのコールドスタートライブラリとともに、方策改善とスキル蓄積が共進化する閉じたフィードバックループを形成します。
新規性
本論文の主な新規性は、幾何学的構造が失われる可能性のあるテキスト中心のスキルメモリではなく、複合的な画像ベースのスキルカードとして再利用可能なスキルを視覚ネイティブに表現している点です。また、強化学習内でスキル検索、報酬シェイピング、およびオンラインスキル蒸留を密接に結合させることで、訓練中にスキルライブラリと方策が相互に向上し合うようにしています。
成果
Sokoban、FrozenLake、PrimitiveSkillにおいて、ViSkillは0.89の全体成功率を達成し、コールドスタート初期化により0.91まで向上し、報告された全体指標において評価対象となったすべての商用およびオープンソースのベースラインを上回りました。Sokobanで0.82、FrozenLakeで0.84、PrimitiveSkillで平均1.00の成功率を記録し、標準的なPPOよりも高速に収束しました。アブレーションにより、視覚的スキル表現がテキストベースの代替手法を上回ることや、共同最適化の除去が最も大きな性能低下を引き起こすことが示されています。
論文の注目点
- ViSkillは、VLMエージェント向けに空間情報および手続き情報を保持する複合的な視覚スキルカードとして成功経験を表現する。
- 本フレームワークは、幾何学を考慮したスキル検索、スキル誘導型報酬、オンライン蒸留を結合し、方策とスキルライブラリ間の閉じたフィードバックループを構築する。
- 実験において、本手法は全体として報告されたベースラインを上回り、コールドスタート初期化によってさらに性能が向上したほか、アブレーションにより視覚スキルと共最適化の有用性が裏付けられた。
参考リンク
- arXiv: https://arxiv.org/abs/2610.12403v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2610.12403v1
- Hugging Face Papers: https://huggingface.co/papers/2610.12403
- GitHub: https://github.com/ZJU-REAL/ViSkill