論文の概要: MaskVLA: Visual Masking Against Trajectory Overfitting of Vision-Language-Action Model
- arxiv url: http://arxiv.org/abs/2609.23565v1
- Date: Sun, 20 Sep 2026 11:31:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.852486
- Title: MaskVLA: Visual Masking Against Trajectory Overfitting of Vision-Language-Action Model
- Title(参考訳): MaskVLA:視覚言語行動モデルの軌道オーバーフィッティングに対する視覚的マスキング
- Abstract要約: 視覚言語アクションモデルのためのマスキングに基づく微調整戦略であるMaskVLAを提案する。
メインカメラの視覚情報の一部をランダムにマスクすることで、モデルはよりきめ細かなタスク関連、効果的な視覚特徴を自律的に学習する。
我々の手法はRoboTwin 2.0で総合的に評価され、23.2%と16.8%の平均的な成功率の向上を達成した。
- 参考スコア(独自算出の注目度): 51.09000464543342
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models integrate vision-language understanding with executable robot actions, enabling end-to-end learning for robot control. However, our empirical analysis reveals that existing models exhibit severe trajectory overfitting when finetuned on limited datasets. To guide the model in effectively utilizing wrist camera information, we propose MaskVLA, a masking-based fine-tuning strategy. By randomly masking a small portion of the main camera's visual information, the model is guided to autonomously learn more fine-grained, task-relevant, and effective visual features. This process leads to the emergence of robust policies, thereby enhancing the model's capability to tackle complex manipulation tasks and improving its generalization performance. Our method has been comprehensively evaluated on RoboTwin 2.0, achieving an average success rate improvement of 23.2% and 16.8% compared to $π_0$ and OpenVLA-OFT, respectively. Furthermore, experiments on real-world ALOHA robots also demonstrate the effectiveness of our approach.
- Abstract(参考訳): VLA(Vision-Language-Action)モデルは、視覚言語理解と実行可能なロボットアクションを統合し、ロボット制御のためのエンドツーエンド学習を可能にする。
しかし, 実験分析の結果, 既存のモデルでは, 限られたデータセットに微調整した場合に, 重度の軌道過剰が生じることが明らかとなった。
手首カメラ情報を効果的に活用するために,マスクベースの微調整戦略であるMaskVLAを提案する。
メインカメラの視覚情報の一部をランダムにマスクすることで、モデルはよりきめ細かなタスク関連、効果的な視覚特徴を自律的に学習する。
このプロセスはロバストなポリシーの出現につながり、複雑な操作タスクに対処するモデルの能力を高め、一般化性能を向上させる。
提案手法はRoboTwin 2.0上で総合的に評価され, π_0$およびOpenVLA-OFTと比較して平均成功率が23.2%, 16.8%向上した。
さらに、実世界のALOHAロボットの実験も、我々のアプローチの有効性を実証している。
関連論文リスト
- Learning Action Manifold with Multi-view Latent Priors for Robotic Manipulation [67.16145181790522]
本稿では,視覚・言語・行動モデル(VLA)における空間認識と操作の課題に取り組む。
幾何学的ガイダンスに基づいて多視点特徴を整列する幾何誘導型ゲート変換器(G3T)を提案する。
動作学習効率を向上させるために,有効な動作多様体上での動作を直接予測するアクション・マニフォールド・ラーニング(AML)を導入する。
論文 参考訳(メタデータ) (2026-05-12T09:21:29Z) - TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic Policies [95.30717188630432]
VLAモデルの行動予測のための時空間認識を容易にするために,視覚的トレースプロンプトを導入する。
我々は,これまでに収集した150Kロボット操作トラジェクトリのデータセットに基づいてOpenVLAを微調整し,新しいTraceVLAモデルを開発した。
4B Phi-3-Vision に基づくコンパクトな VLA モデルを提案する。
論文 参考訳(メタデータ) (2024-12-13T18:40:51Z) - ReVLA: Reverting Visual Domain Limitation of Robotic Foundation Models [55.07988373824348]
既存の3つのロボット基礎モデルの視覚的一般化能力について検討する。
本研究は,既存のモデルがドメイン外シナリオに対する堅牢性を示していないことを示す。
モデルマージに基づく段階的なバックボーンリバーサルアプローチを提案する。
論文 参考訳(メタデータ) (2024-09-23T17:47:59Z) - TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic Manipulation [32.406783380729024]
VLA(Vision-Language-Action)モデルは、エンド・ツー・エンドの学習プロセスを通じて、視覚運動制御と命令理解において顕著な可能性を示している。
現在のVLAモデルは、推論中に遅くなり、大量のロボットデータに対して広範な事前トレーニングを必要としているため、重大な課題に直面している。
既存のVLAモデルに対して2つのアドバンテージを提供する,TinyVLAと呼ばれる,コンパクトな視覚言語アクションモデルを導入した。
論文 参考訳(メタデータ) (2024-09-19T07:10:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。