論文の概要: CoRE-VLA: Towards Scalable and Robust Vision-Language-Action Modeling via Conditional Routing of Experts
- arxiv url: http://arxiv.org/abs/2607.03693v1
- Date: Sat, 04 Jul 2026 03:58:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.682275
- Title: CoRE-VLA: Towards Scalable and Robust Vision-Language-Action Modeling via Conditional Routing of Experts
- Title(参考訳): CoRE-VLA:エキスパートの条件付きルーティングによるスケーラブルでロバストなビジョンランゲージ・アクション・モデリングを目指して
- Abstract要約: 視覚言語アクション(VLA)モデルには高度な汎用ロボット操作があるが、現実の展開は根本的な課題である。
本稿では、コンテキスト条件付きスパース計算としてアクション生成を定式化する、スケーラブルな計算と堅牢なVLAフレームワークであるCoRE-VLAを提案する。
LIBERO、RoboCasa GR1 Tabletop、および実世界のデュアルアーム操作の実験により、CoRE-VLAは長距離およびマルチタスクのベンチマークで強い結果が得られることが示された。
- 参考スコア(独自算出の注目度): 79.70951193831506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) models have advanced generalist robotic manipulation, yet real-world deployment reveals a fundamental challenge: robots are equipped with diverse and heterogeneous sensor configurations, auxiliary sensors can fail unexpectedly during operation, and different robot embodiments often lack certain sensors by design. A unified policy that can exploit auxiliary perceptual inputs when available while remaining reliable under sensor absence, whether incidental or by design, is therefore essential for practical deployment. However, existing VLA policies couple action generation to a fixed sensor set through shared dense computation, making them brittle when sensors are missing and limiting their ability to specialize across diverse tasks and long-horizon behaviors. We propose CoRE-VLA, a scalable and robust VLA framework that formulates action generation as context-conditioned sparse computation. Sensor availability gates modality-specialized experts, enabling graceful degradation under missing sensors without retraining. Task intent further routes action-side representations to task-relevant experts, improving specialization across diverse tasks and long-horizon subgoals. While the framework is designed to accommodate different auxiliary sensors, we focus on depth as a representative and practically important auxiliary modality in our experiments. Experiments on LIBERO, RoboCasa GR1 Tabletop, and real-world dual-arm manipulation show that CoRE-VLA achieves strong results on long-horizon and multi-task benchmarks, and outperforms both a dense-action-generator ablation and a strong pretrained VLA baseline, including in zero-shot generalization to unseen scenarios. Modality analysis shows that CoRE-VLA can exploit auxiliary depth when available while remaining robust when depth is unavailable during deployment.
- Abstract(参考訳): VLA(Vision- Language-action)モデルには高度な汎用的なロボット操作があるが、実際の展開には根本的な課題がある。ロボットは多様で異質なセンサー構成を備えており、補助センサーは操作中に予期せず故障する可能性がある。
したがって、インシデントや設計によっても、センサの不在下で信頼性を維持しながら、利用可能なときに補助的な知覚入力を活用できる統一されたポリシーは、実践的な展開に不可欠である。
しかしながら、既存のVLAポリシーは、共有密度計算によって設定された固定センサーにアクション生成を結合することで、センサが欠如している時に不安定になり、さまざまなタスクや長時間の行動に特化する能力が制限される。
本稿では、コンテキスト条件付きスパース計算としてアクション生成を定式化するスケーラブルで堅牢なVLAフレームワークであるCoRE-VLAを提案する。
センサー・アベイラビリティー・ゲート(Sensor Availability gates)は、モダリティに特化している専門家を訓練することなく、センサーの欠如による優雅な劣化を可能にする。
タスク意図は、アクションサイドの表現をさらにタスク関連の専門家にルートし、様々なタスクや長距離サブゴールの特殊化を改善します。
このフレームワークは、異なる補助センサーに対応するように設計されているが、我々は実験において、代表的で事実上重要な補助モダリティとして深度に焦点を当てている。
LIBERO、RoboCasa GR1 Tabletop、および実世界のデュアルアーム操作の実験により、CoRE-VLAは長い水平およびマルチタスクのベンチマークで強い結果を示し、高密度アクション生成器アブレーションと強い事前訓練されたVLAベースラインの両方を上回り、目に見えないシナリオへのゼロショット一般化を含む。
モダリティ分析により、CoRE-VLAは、デプロイ中に奥行きが利用できないときに堅牢なまま、利用可能なときに補助的な深さを利用することができることを示している。
関連論文リスト
- CR-VLA-Force: Learning Control-aware Compliance VLA Model for Robust Contact-rich Robotic Manipulation [22.8919569384701]
リアクティブ制御のための制御対応VLAフレームワークを提案する。
CC-VLAモデルは、力信号シーケンスと視覚言語による融合特徴を符号化するために、MoE(Multimodal Mixed-of-experts)を使用する。
CC-VLAは, 力知覚課題の成功率を著しく向上し, 力制御精度の向上を図っている。
論文 参考訳(メタデータ) (2026-09-05T02:54:51Z) - Towards Generalizable Visually Grounded Exploration of Household Devices [74.66117923766632]
汎用的な自律的実施エージェントを実現する上でのボトルネックは、Generalizable Visually Grounded Explorationにある。
VGEBenchは、視覚言語モデルの一般化可能な視野探索能力を評価するために設計されたベンチマークである。
静的なデータセットとは異なり、我々はLogic-Driven State Machineフレームワークを構築している。このフレームワークは多ターンインタラクションループをシミュレートし、アクティブな視覚知覚とフィードバック駆動の修正によって目標を達成するエージェントを説得する。
論文 参考訳(メタデータ) (2026-09-01T07:42:45Z) - GuidedVLA: Specifying Task-Relevant Factors via Plug-and-Play Action Attention Specialization [101.37117235471709]
本稿では,タスク関連要因に着目したアクション生成を支援するフレームワークである GuidedVLA を紹介する。
私たちの中核的な洞察は、アクションデコーダをモノリシックな学習者としてではなく、機能的なコンポーネントの集合として扱うことです。
この結果から,アクションデコーダ学習を明示的に指導することが,より堅牢で汎用的なVLAモデルを構築する上で有望な方向であることが示唆された。
論文 参考訳(メタデータ) (2026-05-12T16:38:40Z) - Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming [64.48633529149579]
本稿では,VLA(Vision-Language-Action)モデルの言語的変異に対する脆弱性を明らかにするための新しいフレームワークを提案する。
本手法は, ストレス試験用VLAエージェントへのスケーラブルなアプローチを示すため, 平均作業成功率を93.33%から5.85%に下げる。
論文 参考訳(メタデータ) (2026-04-07T08:43:36Z) - ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation [55.467742403416175]
本稿では,大規模モーションキャプチャをヒューマノイドに変換する物理駆動型ニューラルネットワークを提案する。
我々は高密度参照とスパースタスク仕様の両方をサポートする統合マルチモーダルコントローラを学習する。
その結果,ULTRAは自我中心の知覚から,自律的,目標条件付き全体ロコ操作に一般化することが示された。
論文 参考訳(メタデータ) (2026-03-03T18:59:29Z) - Pro-HOI: Perceptive Root-guided Humanoid-Object Interaction [57.252599851031505]
本稿では,知覚根誘導型ヒューマノイドオブジェクトインタラクション,Pro-HOIを紹介する。
Pro-HOIは、堅牢なヒューマノイドロコ操作のための一般化可能なフレームワークである。
ユニツリーG1ロボットの実証検証は、Pro-HOIが一般化と堅牢性においてベースラインを著しく上回っていることを示す。
論文 参考訳(メタデータ) (2026-03-01T14:19:59Z) - PosA-VLA: Enhancing Action Generation via Pose-Conditioned Anchor Attention [92.85371254435074]
PosA-VLAフレームワークは、ポーズ条件付き監視を通じて視覚的注意を保ち、タスク関連領域に対するモデルの認識を一貫して導く。
本手法は,多様なロボット操作ベンチマークにおいて,正確かつ時間効率のよい動作を実施できることを示す。
論文 参考訳(メタデータ) (2025-12-03T12:14:29Z) - Hiding in the AI Traffic: Abusing MCP for LLM-Powered Agentic Red Teaming [0.0]
本稿では,モデルコンテキストプロトコル(MCP)を利用した新しいコマンド・アンド・コントロール(C2)アーキテクチャを導入し,適応型偵察エージェントを網羅的に協調する。
私たちのアーキテクチャは、システム全体のゴール指向の振る舞いを改善するだけでなく、コマンドとコントロールの振る舞いを完全に検出および防止するために使用できる主要なホストやネットワークアーティファクトを排除します。
論文 参考訳(メタデータ) (2025-11-20T02:51:04Z) - AgentAlign: Misalignment-Adapted Multi-Agent Perception for Resilient Inter-Agent Sensor Correlations [8.916036880001734]
既存の研究は、マルチエージェント設定における脆弱なマルチセンサ相関を概観している。
AgentAlignは、現実世界の異種エージェントのクロスモダリティ機能アライメントフレームワークである。
多様な環境条件下での現実的なセンサの欠陥をシミュレートする新しいV2XSet-noiseデータセットを提案する。
論文 参考訳(メタデータ) (2024-12-09T01:51:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。