論文の概要: GS-VLA: Plug-and-Play Viewpoint Canonicalization for Frozen VLA Policies via Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2608.19066v1
- Date: Wed, 19 Aug 2026 16:08:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.4576
- Title: GS-VLA: Plug-and-Play Viewpoint Canonicalization for Frozen VLA Policies via Gaussian Splatting
- Title(参考訳): GS-VLA:ガウススプラッティングによる凍結VLA政策のプラグアンドプレイポイント正準化
- Abstract要約: 本稿では,VLA(Vision-Language-Action)政策における視点シフトに対するロバスト性を改善する枠組みを提案する。
我々の知る限り、これはVLAポリシーにおける観測空間適応のための3Dガウスに基づくノベルビュー合成を直接活用する最初のアプローチである。
- 参考スコア(独自算出の注目度): 2.8909732618300854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a lightweight, plug-and-play framework that improves robustness to viewpoint shifts in Vision-Language-Action (VLA) policies without policy retraining. To our knowledge, this is the first approach to directly leverage 3D Gaussian-based novel-view synthesis for observation-space adaptation in VLA policies. Current VLA performance relies on the implicit assumption that training and deployment camera configurations are identical. Our experiments show that even a small displacement of the camera mount can reduce the success rate on the LIBERO benchmark from about 90% to about 10% in the worst case. Prior approaches, such as large-scale fine-tuning or generative data augmentation, are computationally expensive and risk catastrophic forgetting. To address this, viewpoint shifts are reformulated as a localized novel-view synthesis problem. Under a Locality assumption, that camera perturbations remain within a small bounded region relative to the workspace, viewpoint normalization reduces to a scene- and policy-independent disocclusion task. Our work implements this idea with a 4M-parameter 3D-Gaussian canonicalizer prepended to a frozen VLA policy. Without modifying policy weights, GS-VLA improves performance across three orthogonal axes: (1) Policy architectures, (2) Unseen task suites, and (3) Perturbation scales. These results show that a lightweight visual module can recover a large fraction of the performance lost under viewpoint shift, without policy retraining.
- Abstract(参考訳): 本稿では,VLA(Vision-Language-Action)政策における視点シフトに対するロバスト性を改善する軽量なプラグアンドプレイフレームワークを提案する。
我々の知る限り、これはVLAポリシーにおける観測空間適応のための3Dガウスに基づくノベルビュー合成を直接活用する最初のアプローチである。
現在のVLAのパフォーマンスは、トレーニングとデプロイメントのカメラ構成が同一であるという暗黙の仮定に依存している。
実験の結果, カメラマウントの変位が小さい場合でも, LIBEROベンチマークにおける成功率を90%程度から10%程度に低下させることができることがわかった。
大規模微調整や生成データ拡張といった以前のアプローチは、計算的に高価であり、破滅的な間違いを犯す危険性がある。
これを解決するために、視点シフトを局所化ノベルビュー合成問題として再定義する。
局所性仮定の下では、カメラの摂動はワークスペースに対して小さな境界領域に留まり、視点正規化はシーンとポリシーに依存しない非閉塞タスクに還元される。
我々の研究は、凍結VLAポリシーに先立って、4Mパラメーター3D-ガウスカノニカル化器を用いてこの考え方を実装した。
政策重みを変更することなく、GS-VLAは、(1)ポリシーアーキテクチャ、(2)見えないタスクスイート、(3)摂動尺度の3つの直交軸で性能を改善する。
これらの結果から、軽量な視覚モジュールは、ポリシーの再訓練なしに、視点シフトで失われる性能のかなりの部分を取り戻すことができることがわかった。
関連論文リスト
- GloVLA: Let Geometry Move and Local VLA Interact for Robust Object-Centric Manipulation in Unstructured Environments [15.479388607422736]
視覚言語アクション(VLA)モデルは、言語条件のロボット操作において有望な一般化を示す。
単一エンドツーエンドのVLAポリシーは、タスク関連領域へのエンドエフェクタの長距離輸送を同時に解決する必要がある。
オブジェクト中心の操作を2つの補完的な状態に明確に分離するハイブリッドフレームワークであるGloVLAを紹介する。
論文 参考訳(メタデータ) (2026-09-05T20:48:14Z) - LIBERO-Occ: Evaluating and Improving Vision-Language-Action Models under Scene-Induced Occlusion via Viewpoint Imagination [66.06027569507403]
textbfViewpoint Imagination (VIM) は、観測された証拠と想像された証拠の両方について、隠蔽された一次観測と条件の行動予測から補完的な視点を生成する。
VIMは、追加のカメラをデプロイ時に必要とせずに、タスクスイート、オクルージョンタイプ、重大度レベルの堅牢性を改善する。
論文 参考訳(メタデータ) (2026-06-09T13:39:49Z) - GHOST: Hierarchical Sub-Goal Policies for Generalizing Robot Manipulation [54.305781492241785]
本稿では,トレーニング分布を超えて一般化したビジュモータ操作ポリシーを学習するための枠組みを提案する。
GHOSTは、(i)多視点RGB-D観測から、3Dエンドエフェクタ上の分布として次のサブゴールを予測する高レベルポリシーに制御を分解する。
一連のタスクの中で、この階層的な分解は、フラットな拡散ポリシーと比較して、パフォーマンスと堅牢性を一貫して改善します。
論文 参考訳(メタデータ) (2026-06-08T18:08:01Z) - Beyond Action Residuals: Real-World Robot Policy Steering via Bottleneck Latent Reinforcement Learning [42.74142065376427]
本稿では,Z-Perturbation Reinforcement Learning (ZPRL)を提案する。
現実世界では、ZPRLは模倣ベースポリシーよりも4つのタスクの平均成功率を33.7%向上させる。
論文 参考訳(メタデータ) (2026-05-19T14:43:26Z) - Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation [95.89924101984566]
GPM(Global Prior Memory)とLCM(Local Consistency Memory)を備えたデュアルメモリVLAフレームワークOptimusVLAを紹介する。
GPMはガウスノイズを意味論的に類似した軌道から取得したタスクレベルの先行値に置き換える。
LCMは、時間的コヒーレンスと軌道の滑らかさを強制する学習された一貫性制約を注入する。
論文 参考訳(メタデータ) (2026-02-22T15:39:34Z) - NRGS-SLAM: Monocular Non-Rigid SLAM for Endoscopy via Deformation-Aware 3D Gaussian Splatting [25.805439969022697]
3次元ガウス法による内視鏡用単分子非剛性SLAMシステムNRGS-SLAMを提案する。
NRGS-SLAMは、最先端の手法よりも精度の高いカメラポーズ推定(RMSEの最大50%の削減)と高品質なフォトリアリスティック再構成を実現する。
論文 参考訳(メタデータ) (2026-02-19T09:03:47Z) - Affordance Field Intervention: Enabling VLAs to Escape Memory Traps in Robotic Manipulation [25.496791183299692]
Affordance Field Intervention (AFI)は、SAFをオンデマンドプラグインとして使用してVLA動作をガイドする軽量なハイブリッドフレームワークである。
VLAバックボーンの平均改善率は23.5%である。
論文 参考訳(メタデータ) (2025-12-08T11:57:13Z) - D$^2$GS: Depth-and-Density Guided Gaussian Splatting for Stable and Accurate Sparse-View Reconstruction [73.61056394880733]
3D Gaussian Splatting (3DGS)は、3D表現を明示したリアルタイムかつ高忠実なノベルビュー合成(NVS)を可能にする。
疎視条件下では,カメラ近傍のガウス密度が過大な地域での過度適合と,ガウス範囲が不十分な遠隔地での過度適合の2つの重要な障害モードを同定する。
本稿では,奥行き案内型ドロップアウト戦略と距離認識型フィデリティ拡張モジュールという,2つの主要なコンポーネントからなる統合フレームワークD$2$GSを提案する。
論文 参考訳(メタデータ) (2025-10-09T17:59:49Z) - Large-Scale Gaussian Splatting SLAM [21.253966057320383]
本稿では,LSG-SLAMと呼ばれるステレオカメラを用いた大規模3DGSベースの視覚SLAMを提案する。
EuRocとKITTIデータセットに対する広範な評価により、LSG-SLAMは既存のNeural、3DGSベースの、さらには従来のアプローチよりも優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2025-05-15T03:00:32Z) - GLACE: Global Local Accelerated Coordinate Encoding [66.87005863868181]
シーン座標回帰法は小規模なシーンでは有効であるが、大規模シーンでは重大な課題に直面している。
本研究では,事前学習したグローバルおよびローカルのエンコーディングを統合したGLACEを提案する。
提案手法は,低マップサイズモデルを用いて,大規模シーンにおける最先端結果を実現する。
論文 参考訳(メタデータ) (2024-06-06T17:59:50Z) - WSCLoc: Weakly-Supervised Sparse-View Camera Relocalization [42.85368902409545]
WSCLocは、様々なディープラーニングベースの再ローカライゼーションモデルにカスタマイズできるシステムである。
最初の段階では、WSCLocはWFT-NeRFと呼ばれる多層パーセプトロン構造を用いて画像再構成の品質を最適化する。
第2段階では,事前学習したWFT-NeRFとWFT-Poseを併用する。
論文 参考訳(メタデータ) (2024-03-22T15:15:44Z) - DDPG++: Striving for Simplicity in Continuous-control Off-Policy
Reinforcement Learning [95.60782037764928]
過大評価バイアスが制御される限り、単純な決定論的政策勾配は著しく機能することを示す。
第二に、非政治的なアルゴリズムの典型であるトレーニングの不安定性を、欲張りのポリシー更新ステップに向ける。
第3に、確率推定文学におけるアイデアは、リプレイバッファからの重要サンプル遷移や、性能劣化を防ぐためのポリシー更新に利用できることを示す。
論文 参考訳(メタデータ) (2020-06-26T20:21:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。