論文の概要: Cross-View Action Consistency for Camera-Robust Vision-Language-Action Policies
- arxiv url: http://arxiv.org/abs/2608.06965v1
- Date: Fri, 07 Aug 2026 08:41:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.419654
- Title: Cross-View Action Consistency for Camera-Robust Vision-Language-Action Policies
- Title（参考訳）: カメラ・ロバスト・ビジョン・ランゲージ・アクション・ポリシーのためのクロスビュー・アクション・コンシステンシー
- Abstract要約: 固定シーンカメラから微調整されたポリシーは、タスク、オブジェクト、言語、ロボットの状態が変化しても、カメラが動いたときに失敗する可能性がある。
シーンRGB画像,言語,プロプレセプションのみを用いてシーンカメラの視点を,カメララベル,外在性,深度,ポイントクラウド入力なしで研究する。
我々は、元のLIBEROデモを同じ MuJoCo 状態にリセットし、名目と乱れたシーンカメラビューをレンダリングすることで、アクション等価なビューペアを構築する。
- 参考スコア（独自算出の注目度）: 4.9948584685520805
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) policies fine-tuned from a fixed scene camera can fail when the camera is moved, even when the task, objects, language, and robot state are unchanged. We study scene-camera viewpoint robustness using only a scene RGB image, language, and proprioception, without camera labels, extrinsics, depth, or point-cloud inputs. The wrist stream is masked throughout to prevent an unperturbed visual shortcut from confounding attribution to scene-camera variation. For flow-based VLAs, we propose to regularize the action-flow velocity field, the quantity directly integrated to generate continuous action chunks. We construct action-equivalent view pairs by resetting original LIBERO demonstrations to the same MuJoCo state and rendering nominal and perturbed scene-camera views. Both views are supervised by flow matching, while a cross-view loss encourages their predicted action-flow velocities to agree at the same sampled flow coordinates. On the LIBERO-Plus camera-perturbation track, our method reaches 87.2$\pm$0.4% (4,797 rollouts per seed across 3 training seeds), +7.4pp over flow-matching-only training on the same paired data (79.8$\pm$0.8%, also 3 seeds) and +12.5pp over naive mixed-camera SFT, while maintaining nominal-camera ID performance (95.0$\pm$0.8%; same-data FM-only: 95.0$\pm$4.3%). A shuffled-pair control collapses to 25.8%, showing that the gain depends on action-equivalent pairing. On a real robot, we evaluate three tabletop tasks with 10 rollouts per task and camera placement; held-out-camera success improves from 53.3% to 74.4% under the same single-scene-RGB inference interface.
- Abstract（参考訳）: 固定シーンカメラから微調整された視覚言語アクション(VLA)ポリシーは、タスク、オブジェクト、言語、ロボットの状態が変化しても、カメラが動いたときに失敗する可能性がある。
シーンRGB画像,言語,プロプレセプションのみを用いて,カメララベル,外生代,深度,ポイントクラウド入力のないシーンカメラ視点のロバスト性について検討した。
手首のストリームは、乱れのない視覚的ショートカットがシーン・カメラの変動に起因することを防止するために、全身にマスクされている。
本稿では,フローベースVLAに対して,連続的な動作チャンクを生成するために直接統合された量であるアクションフロー速度場を正規化することを提案する。
我々は、元のLIBEROデモを同じ MuJoCo 状態にリセットし、名目上かつ乱れたシーンカメラビューをレンダリングすることで、アクション等価なビューペアを構築する。
両方のビューはフローマッチングによって管理されるが、クロスビューの損失は、予測されたアクションフロー速度が同じサンプルフロー座標で一致することを奨励する。
LIBERO-Plusカメラの摂動トラックでは、この手法は87.2$\pm$0.4%(3つのトレーニングシードに対して4,797ロールアウト)、+7.4pp、フローマッチング専用トレーニング(79.8$\pm$0.8%、同じく3つのシード)、+12.5ppの3種類の混合カメラSFT上で、ノウハウカメラID性能(95.0$\pm$0.8%、同データFMのみ:95.0$\pm$4.3%)に到達した。
シャッフルペア制御は25.8%に崩壊し、利得が作用等価ペアリングに依存することを示す。
実際のロボットでは、タスク毎10回ロールアウトした3つのテーブルトップタスクとカメラ配置を評価し、同じシングルシーンRGB推論インタフェースの下で、ホールド・アウト・カメラの成功率が53.3%から74.4%に向上した。
関連論文リスト
- Selective Cross-View Consistency for World Action Models: Held-Out Viewpoint Robustness Without Test-Time Camera Information [0.0]
世界アクションモデル(WAM)は、将来のビデオフレームとロボットアクションを共同で認知し、その制御を一般化することが期待されている。
同状態のクロスビュー画像ペアでトレーニングする場合、どの出力座標に一貫性損失を課すべきか?
共変ブロックに適用される整合性は有意な有害性を示し、正規のビュー特化コンテンツをその真値の1/(1+4)$に縮め、制御実験においてこの縮退則を検証する。
論文 参考訳（メタデータ） (2026-08-07T12:03:23Z) - Multi-View Unified Camera Fields: Geometry-Shaped Action-Facing Representations for RGB-Only Multi-Camera VLA Policies [12.27577524307746]
Multi-View Unified Camera Fields (MVUCF) は、ビューをまたいだ共有アクション対応潜在フィールドを形成するトレーニング専用フレームワークである。
ジオメトリインジェクション、奥行き、カメラキャリブレーション、補助ヘッドが取り除かれた後、配置は、追加の推論FLOPを持たない元のRGBのみのグラフを使用する。
論文 参考訳（メタデータ） (2026-08-03T07:36:09Z) - CoTinyVLA: Chain-of-Thought Distillation for a Sub-Billion-Parameter Vision-Language-Action Model [7.106499413931612]
CoTinyVLAはQwen3.5-0.8Bのバックボーン上のアクションモデルであり、モデルを大きくすることなく、監督を構造化することで堅牢性を得る。
LIBERO-Plusでは、7つの摂動次元で10,030の摂動タスクをこなし、CoTinyVLAは空間で90.8%、オブジェクトで87.3%、ゴールで86.6%、ロングで80.7%に達した。
論文 参考訳（メタデータ） (2026-07-28T09:24:17Z) - Robostral Navigate [138.74472687550374]
Robostral Navigateは、大規模なナビゲーションシステムのための視覚言語モデルである。
モノラルなRGB画像のストリームのみを消費し、現在のカメラビューの次のターゲット位置を指して、ウェイポイントを予測する。
我々は、実世界のデータ収集への依存を減らすため、350kのシミュレートされたシーンに240万のトラジェクトリを生成します。
論文 参考訳（メタデータ） (2026-07-22T23:13:05Z) - From Fixed to Free Cameras: Calibration-Free View-Robust Vision-Language-Action Model [72.8641426724502]
カメラ中心型VLA(CamVLA)は、カメラ幾何学から制御を分離する新しいVLAモデルである。
CamVLAは、さまざまな見当たらない視点での成功率を継続的に改善する。
論文 参考訳（メタデータ） (2026-07-06T17:59:59Z) - LIME: Learning Intent-aware Camera Motion from Egocentric Video [56.023644847494836]
自動回帰観測ゲイン出力と連続的なフローマッチングポーズヘッドを組み合わせた視覚言語カメラモーションジェネレータを提案する。
LIMEは、人間の受動的ビデオからカメラのポーズを積極的に選択し、通常の自我中心の録音を意図認識のアクティブな知覚の監督に変えることができる。
論文 参考訳（メタデータ） (2026-07-02T16:48:43Z) - WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation [49.31386176285509]
WatchActは、観察された人間の行動に基づくロボット操作のベンチマークである。
WatchActは4つの機能ドメインで14タスクにわたる3,000のロングホライゾンインスタンスで構成されている。
シミュレーションとFranka Research 3ロボットの両方で、現在のシステムはWatchActの解決には程遠い。
論文 参考訳（メタデータ） (2026-06-24T23:13:56Z) - Multi-View 3D Point Tracking [67.21282192436031]
本稿では,複数のカメラビューを用いた動的シーンにおける任意の点の追跡を目的とした,データ駆動型マルチビュー3Dポイントトラッカーについて紹介する。
本モデルでは,現実的な数のカメラを用いて直接3次元対応を推定する。
我々は5K合成多視点Kubricシーケンスをトレーニングし、2つの実世界のベンチマークで評価する。
論文 参考訳（メタデータ） (2025-08-28T17:58:20Z) - PACA: Perspective-Aware Cross-Attention Representation for Zero-Shot Scene Rearrangement [8.435401907462245]
PACAはシーンアレンジメントのためのゼロショットパイプラインである。
オブジェクトレベルの表現を生成するために,生成,セグメンテーション,特徴エンコーディングを単一ステップに統合する表現を開発する。
論文 参考訳（メタデータ） (2024-10-29T14:10:28Z) - Cross-Camera Feature Prediction for Intra-Camera Supervised Person
Re-identification across Distant Scenes [70.30052164401178]
人物再識別(Re-ID)は、重複しないカメラビュー間で人物画像をマッチングすることを目的としている。
ICS-DS Re-IDは、カメラ内IDラベル付きクロスカメラアンペアデータを使用してトレーニングを行う。
カメラ横断型自己監視情報マイニングのためのクロスカメラ特徴予測法
グローバルレベルの特徴とローカルレベルの特徴の合同学習は、グローバルなローカルなクロスカメラ特徴予測スキームを形成する。
論文 参考訳（メタデータ） (2021-07-29T11:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。