論文の概要: CoRe-VLA: Preserving Cross-View Coordination in VLAs under Camera Shifts
- arxiv url: http://arxiv.org/abs/2609.37150v1
- Date: Tue, 29 Sep 2026 09:42:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.397626
- Title: CoRe-VLA: Preserving Cross-View Coordination in VLAs under Camera Shifts
- Title(参考訳): CoRe-VLA:カメラシフト下でのVLAにおけるクロスビューコーディネート保存
- Abstract要約: 本稿では,マルチビューデータ収集やVLA微調整を必要としないプラグイン・アンド・プレイフレームワークであるCoRe-VLAを提案する。
CoRe-VLAはシーンポイントクラウドを再構築し、VLAのトレーニングの観点から観察を行い、クロスビュー調整を復元する。
- 参考スコア(独自算出の注目度): 46.66715530583585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: VLAs combine pretrained vision-language representations with action generation to enable language-guided control across diverse tasks, becoming a mainstream paradigm in embodied intelligence. However, multiple studies have reported VLA's substantial declines in task success under camera shifts, revealing a key vulnerability that limits reliable deployment. To address this vulnerability, existing methods collect paired observations of the same scene from different viewpoints to fine-tune the VLA or train visual adaptation modules. Unfortunately, they require additional data collection and VLA training costs. In this paper, we first identify \emph{cross-view coordination breakdown} under external camera shifts: the robot may rely too heavily on wrist-view cues and consequently execute subtasks in the wrong order when losing global view. Motivated by this, we propose CoRe-VLA, a plug-and-play framework requiring neither additional multi-view data collection nor VLA fine-tuning, which can incorporate with exsiting VLAs. It reconstructs a scene point cloud and renders the observation from the VLA's training viewpoint to restore cross-view coordination. In CoRe-VLA, Render-to-Camera (R2C) Restoration reduces rendering-induced visual degradation, while Execution-Trajectory-Conditioned Alignment (ETCA) reduces robot idle time and mitigates motion conflicts during asynchronous execution. Experiments on 5 real-robot tasks, LIBERO-100 and LIBERO-Plus demonstrate CoRe-VLA substantially improves task success across mainstream VLAs under camera shifts. For example, CoRe-VLA raises PI0.5's success rate from 13.3% to 83.3% at a 1.6m camera shift in real-robot environment.
- Abstract(参考訳): VLAは、事前訓練された視覚言語表現とアクション生成を組み合わせることで、様々なタスクにわたる言語誘導制御を可能にし、インテリジェンスにおいて主流のパラダイムとなる。
しかしながら、複数の研究がVLAのカメラシフトによるタスク成功の大幅な減少を報告し、信頼性の高いデプロイメントを制限する重要な脆弱性が明らかになった。
この脆弱性に対処するため、既存の手法では異なる視点から同一シーンのペア化された観察を収集し、VLAを微調整したり、視覚適応モジュールを訓練する。
残念ながら、追加のデータ収集とVLAトレーニングコストが必要です。
本稿では、まず、外部カメラシフトの下で、手首の視力に強く依存しすぎ、その結果、世界的視界を失うとサブタスクを間違った順序で実行してしまうという、emph{cross-view coordinatedown}を識別する。
そこで我々は,マルチビューデータ収集やVLAファインチューニングを必要としないプラグイン・アンド・プレイフレームワークであるCoRe-VLAを提案する。
シーンポイントクラウドを再構築し、VLAのトレーニングの観点から観察を行い、クロスビューコーディネートを復元する。
CoRe-VLAでは、Render-to-Camera(R2C)修復はレンダリングによる視覚的劣化を低減し、Execution-Trajectory-Conditioned Alignment(ETCA)はロボットのアイドル時間を短縮し、非同期実行時の動作競合を軽減する。
LIBERO-100とLIBERO-Plusの5つの実ロボットタスクの実験では、CoRe-VLAがカメラシフト下でのメインストリームVLA全体のタスク成功を大幅に改善することを示した。
例えば、CoRe-VLAはPI0.5の成功率を13.3%から83.3%に上げる。
関連論文リスト
- Does Adversarial Training Improve Generalization in Multi-View VLAs? Revealing and Mitigating View Collapse [14.626999014803404]
逆行訓練(AT)は、個々のシフトを明示的に予測することなく、ロバストネスに対するモデル適応的なアプローチを提供する。
本研究では, 事前学習VLMから直接適応した多視点VLAを用いて, 7つのLIBERO-Plusシフト軸の一般化を評価する。
以上の結果から,多視点のロバスト性は相互依存の変化から改善された認識を分離する必要があること,そしてATは汎用的な分布シフトの利点よりも選択的に提供できることが示唆された。
論文 参考訳(メタデータ) (2026-09-27T16:11:35Z) - GloVLA: Let Geometry Move and Local VLA Interact for Robust Object-Centric Manipulation in Unstructured Environments [15.479388607422736]
視覚言語アクション(VLA)モデルは、言語条件のロボット操作において有望な一般化を示す。
単一エンドツーエンドのVLAポリシーは、タスク関連領域へのエンドエフェクタの長距離輸送を同時に解決する必要がある。
オブジェクト中心の操作を2つの補完的な状態に明確に分離するハイブリッドフレームワークであるGloVLAを紹介する。
論文 参考訳(メタデータ) (2026-09-05T20:48:14Z) - GEAR-VLA: Learning Geometry-Aware Action Representations for Generalizable Robotic Manipulation [49.16739604572808]
VLA(Vision-Language-Action)モデルは、強力なベンチマークパフォーマンスを実現するが、目に見えないオブジェクトによる現実世界のデプロイに苦労する。
これは、統合幾何認識の操作表現が欠如していることに起因していると我々は主張する。
一般化可能なロボット操作のための統合幾何認識行動表現を学習するためのVLAフレームワークであるGEAR-VLAを提案する。
論文 参考訳(メタデータ) (2026-06-07T09:23:16Z) - VisualThink-VLA: Visual Intermediate Reasoning for Effective and Low-Latency Vision-Language-Action Policies [58.65913948991329]
正確な低レイテンシVLAポリシーのためのビジュアル中間推論フレームワークであるVISUALTHINK-VLAを提案する。
私たちのブートストラップ哲学は、効果的な視覚的思考でアクションを導くことです。
これは、デコードオーバーヘッドを回避しながら空間的精度を保った、コンパクトなビジュアル・エビデンスインターフェースを通じてアクション予測をブートストラップする。
論文 参考訳(メタデータ) (2026-05-28T14:36:53Z) - ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。
具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。
本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
論文 参考訳(メタデータ) (2026-01-23T11:31:07Z) - Grounding Actions in Camera Space: Observation-Centric Vision-Language-Action Policy [47.51062818231493]
本稿では,カメラの観測空間にアクション予測を直接適用するOC-VLA(Observatory-Centric VLA)フレームワークを紹介する。
OC-VLAは、ロボットベース座標系からカメラ座標系にエンドエフェクターポーズを変換する。
この戦略は、カメラ視点の変化に対するモデルレジリエンスを大幅に改善する。
論文 参考訳(メタデータ) (2025-08-18T17:10:45Z) - CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。
視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。
実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
論文 参考訳(メタデータ) (2025-03-27T22:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。