Tactile Curiosity Drives Robot Interaction
Abstractの概要
本論文では、認識的不確実性を感覚モダリティごとに分解し、触覚の不確実性を明示的に重み付けすることで、ロボットの行動を接触の多いインタラクションへと誘導する強化学習探索フレームワーク「TacEx」を提案しています。本手法は、視覚、触覚力マップ、および潜在状態の表現をアンサンブルダイナミクスモデルで統合し、モダリティ固有の不一致を内在的探索シグナルとして利用します。シミュレーションにおいて、著者らはスクラッチからの報酬なし探索と、接触の多いマニピュレーションタスクにおける拡散ステアリングを通じた凍結されたVision-Language-Action（VLA）ポリシーの事後学習の両方を検証しています。報告された結果は、触覚の不確実性を重視することで探索中の有意義な物体インタラクションが増加し、さらなる環境との対話なしで下流のオフラインでのピックアンドプレース学習を支援可能なデータが得られることを示しています。また実験では、視覚の不確実性を加えた場合における、集中的な触覚探索とより広範な複数物体の網羅性との間のトレードオフも示されています。
新規性
主な新規性は、状態全体に対する単一の未分化なスカラー値として認識的不確実性を扱うのではなく、触覚の予測的不確実性を明示的に優先するモダリティ重み付け型の不確実性目標を探索に導入した点にあります。また、この触覚的好奇心の原理を、報酬なしのマニピュレーションデータ収集と、凍結されたVision-Language-Actionモデルのサンプル効率的な事後学習の双方に適用している点も特徴的です。
成果
報酬なしマニピュレーション実験において、触覚の不一致を含む手法バリアントは、それを含まないバリアントよりも頻繁な物体インタラクションや把持の試行を生み出し、得られたデータセットはより高いオフラインピックアンドプレース性能を支援しました。複数物体の設定では、触覚と視覚の不一致を組み合わせることでインタラクションの多様性が高まる一方、触覚のみの探索はより局所的に集中しました。接触の多いLIBERO-90タスクにおける拡散ステアリングでは、性能の向上幅はタスク依存的であるものの、最も優れた性能曲線には通常触覚の不一致が含まれており、付録の5タスク分析では触覚＋視覚のバリアントが比較対象のボーナスの中で最も高い平均最終リターンを達成したと報告されています。
論文の注目点
- TacExは、視覚、触覚、および潜在チャネル全体で不確実性を分解し、触覚の不一致に明示的な重みを割り当てることで探索を誘導する。
- 触覚を重視した報酬なし探索により、より接触の多い行動が促進され、下流のスパース報酬ピックアンドプレース学習を改善するオフラインデータが生成される。
- 拡散ステアリングを通じて凍結されたVLAポリシーを事後学習する際、触覚の不確実性は有用な探索シグナルとなり、視覚の不確実性は複数物体の多様性や一部の下流タスクにおいて補完的な利益をもたらす。