論文の概要: Robust Bimanual Vision-Language-Action Models via Embarrassingly Simple Modality Masking
- arxiv url: http://arxiv.org/abs/2608.22419v1
- Date: Sun, 23 Aug 2026 13:48:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.763277
- Title: Robust Bimanual Vision-Language-Action Models via Embarrassingly Simple Modality Masking
- Title（参考訳）: 恥ずかしいほど単純なモダリティマスキングによるロバストなバイマンビジョン・ランゲージ・アクションモデル
- Abstract要約: 構造化されたトレーニング時間マスキングは、双方向操作のためのクエリベースのVLAポリシーの堅牢性を向上させることができることを示す。
その結果,構造化学習時間マスキングは,双方向操作のためのクエリベースのVLAポリシーの堅牢性を改善するための実践的な方法であることが示唆された。
- 参考スコア（独自算出の注目度）: 48.85795530951384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Query-based Vision-Language-Action (VLA) models offer low-latency inference that is attractive for bimanual robotic manipulation, but we observe that they can still exhibit discontinuous actions and execution failures in complex dual-arm tasks. We hypothesize that unstable multi-view and language fusion is one contributing factor in these failures, often coinciding with attention spreading to distracting regions. To improve robustness, we introduce the Modality Masking Mechanism (M3), an embarrassingly simple, training-only strategy that requires no architectural changes or large-scale robot pretraining. M3 stochastically masks subsets of modality channels during training, exposing the policy to controlled partial observations and encouraging it to rely less on distracting cues and more on evidence that remains reliable. We evaluate M3 on ten bimanual tasks from RoboTwin 2.0 and on three long-horizon real-world tasks. Compared with the Adapter baseline, M3 improves average success by 21.7% in the Clean setting and 11.4% in Clean2Rand, where policies are trained on clean demonstrations and evaluated on randomized scenes, while also improving averaged real-world full-task success by over 30%. These results suggest that structured training-time masking is a practical way to improve the robustness of query-based VLA policies for bimanual manipulation.
- Abstract（参考訳）: クエリベースのVision-Language-Action(VLA)モデルは、双方向ロボット操作に魅力的な低レイテンシ推論を提供するが、複雑なデュアルアームタスクにおいて、不連続な動作や実行障害を示すことができる。
不安定な多視点と言語融合はこれらの失敗の要因の一つであり、しばしば注意を散らし、注意をそらす領域に広がっていく。
頑健性を改善するために,アーキテクチャ変更や大規模ロボットの事前訓練を必要としない,恥ずかしいほどシンプルで,トレーニングのみの戦略であるModality Masking Mechanism (M3)を導入する。
M3は、訓練中にモダリティチャネルのサブセットを確率的に隠蔽し、部分的な観察を制御するためのポリシーを公開し、注意をそらす手がかりに頼らず、信頼できる証拠に頼らないよう促す。
我々は,RoboTwin 2.0の10の2次元タスクと3つの長距離実世界のタスクでM3を評価する。
アダプターベースラインと比較して、M3はクリーンな設定で21.7%、クリーン2ランドで11.4%、クリーンなデモンストレーションで政策を訓練し、ランダムなシーンで評価する一方で、現実世界のフルタスクの成功率を30%以上改善している。
これらの結果から, 構造化学習時間マスキングは, 問合せに基づく双方向操作のためのVLAポリシーの堅牢性を向上させるための実践的な方法であることが示唆された。
関連論文リスト
- SARM2: Multi-Task Stage Aware Reward Modeling for Self Improving Robotic Manipulation [57.131411215593744]
ロングホライゾン操作のための微調整視覚言語アクション(VLA)ポリシーは、依然として行動クローニングに大きく依存している。
本稿では,MMOE(Multi-gate Mixture-of-Experts)値ヘッドとアクションプリミティブベースのステージ推定器を組み合わせたマルチタスクステージ認識報酬モデルRMを紹介する。
RM 上に構築した SPIRAL は,安価で自律的なロールアウトから VLA ポリシーを改善する,政治上の報酬誘導型フレームワークである。
論文 参考訳（メタデータ） (2026-06-09T01:46:23Z) - Learning Action Manifold with Multi-view Latent Priors for Robotic Manipulation [67.16145181790522]
本稿では,視覚・言語・行動モデル(VLA)における空間認識と操作の課題に取り組む。
幾何学的ガイダンスに基づいて多視点特徴を整列する幾何誘導型ゲート変換器(G3T)を提案する。
動作学習効率を向上させるために,有効な動作多様体上での動作を直接予測するアクション・マニフォールド・ラーニング(AML)を導入する。
論文 参考訳（メタデータ） (2026-05-12T09:21:29Z) - Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation [95.89924101984566]
GPM(Global Prior Memory)とLCM(Local Consistency Memory)を備えたデュアルメモリVLAフレームワークOptimusVLAを紹介する。
GPMはガウスノイズを意味論的に類似した軌道から取得したタスクレベルの先行値に置き換える。
LCMは、時間的コヒーレンスと軌道の滑らかさを強制する学習された一貫性制約を注入する。
論文 参考訳（メタデータ） (2026-02-22T15:39:34Z) - Information Filtering via Variational Regularization for Robot Manipulation [2.564607372946005]
本稿では,時間条件付きガウス関数をバックボーン上に課し,KL分割正規化器を適用する軽量モジュールを提案する。
提案手法では,RoboTwin2.0で6.1%,AdroitとMetaWorldで4.1%向上し,新たな最先端の成果が得られた。
論文 参考訳（メタデータ） (2026-01-29T16:17:42Z) - EVOLVE-VLA: Test-Time Training from Environment Feedback for Vision-Language-Action Models [57.75717492488268]
VLA(Vision-Language-Action)モデルは、大きな言語モデルを活用することで高度なロボット操作を行う。
Supervised Finetuning (SFT) では、タスク毎の数百のデモ、厳格に軌跡を記憶すること、デプロイメント条件がトレーニングから逸脱したときに適応できないことなどが求められている。
EVOLVE-VLA(EVOLVE-VLA)は、VLAが最小またはゼロのタスク固有のデモで環境相互作用を通じて継続的に適応できるテストタイムトレーニングフレームワークである。
論文 参考訳（メタデータ） (2025-12-16T18:26:38Z) - MDiff4STR: Mask Diffusion Model for Scene Text Recognition [59.79818820650126]
Mask Diffusion Models (MDM) は、視覚言語タスクのための自動回帰モデル (ARM) に代わる有望な代替品として登場した。
我々は,認識効率は向上するが,バニラMDMがARMに遅れていることを示す。
シーンテキスト認識に適した2つの重要な改善戦略を備えたマスク拡散モデルMDiff4STRを提案する。
論文 参考訳（メタデータ） (2025-12-01T08:57:51Z) - Token-Level Uncertainty-Aware Objective for Language Model Post-Training [2.5671111123644894]
我々は,因果言語モデリングにおけるトークンレベルの不確実性を,(1)マスクされた最大可能性(MLE),(2)自己蒸留の2種類の訓練目標に結びつける。
マスクMLEは, 難治性の軽減に有効であり, トークンレベルの自動カリキュラム学習技術として有効であることを示す。
しかし、マスクされたMLEは過度に適合する傾向があり、アウト・オブ・ディストリビューションタスクのパフォーマンスを向上または維持するために自己蒸留正則化が必要である。
論文 参考訳（メタデータ） (2025-03-15T00:32:14Z) - 3D-Grounded Vision-Language Framework for Robotic Task Planning: Automated Prompt Synthesis and Supervised Reasoning [2.6670748466660523]
視覚言語モデル(VLM)はシーン理解と知覚タスクにおいて顕著な成功を収めた。
VLMにはロバストな3Dシーンのローカライズ機能がなく、ロボット操作の精度を制限している。
本稿では,2次元画像を点雲にマッピングすることで,2次元プロンプト合成モジュールを統合し,VLM出力を監視するための小さな言語モデル(SLM)を組み込む新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-13T02:40:19Z) - MENTOR: Mixture-of-Experts Network with Task-Oriented Perturbation for Visual Reinforcement Learning [17.437573206368494]
視覚深部強化学習(RL)は、ロボットが非構造化タスクの視覚入力からスキルを習得することを可能にする。
本稿では,RLエージェントのアーキテクチャと最適化の両方を改善する手法であるMENTORを提案する。
MenTORは3つのシミュレーションベンチマークで最先端の手法を上回り、挑戦的な3つの現実世界のロボット操作タスクで平均83%の成功率を達成した。
論文 参考訳（メタデータ） (2024-10-19T04:31:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。