論文の概要: VLA-LPAF: Lightweight Perspective-Adaptive Fusion for Vision-Language-Action to Enable More Unconstrained Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2509.18183v1
• Date: Thu, 18 Sep 2025 05:24:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.465913
• Title: VLA-LPAF: Lightweight Perspective-Adaptive Fusion for Vision-Language-Action to Enable More Unconstrained Robotic Manipulation
• Title（参考訳）: VLA-LPAF:より制約のないロボットマニピュレーションを可能にするビジョン・ランゲージ・アクションのための軽量視点適応型フュージョン
• Authors: Jinyue Bian, Zhaoxing Zhang, Zhengyu Liang, Shiwei Zheng, Shengtao Zhang, Rong Shen, Chen Yang, Anzhou Hou,
• Abstract要約: 2次元データのみを用いてVLAモデルの視点適応性を向上する軽量モジュールVLA-LPAFを提案する。 VLA-LPAFは、単一のビューの画像を用いて微調整され、潜在空間における他のマルチビュー観測を融合する。 実験によると、RoboFlamingo-LPAFは、CALVINで平均8%、LIBEROで15%、カスタマイズされたシミュレーションベンチマークで30%のタスク成功率の改善を実現している。
• 参考スコア（独自算出の注目度）: 4.9164669212756325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Visual-Language-Action (VLA) models can follow text instructions according to visual observations of the surrounding environment. This ability to map multimodal inputs to actions is derived from the training of the VLA model on extensive standard demonstrations. These visual observations captured by third-personal global and in-wrist local cameras are inevitably varied in number and perspective across different environments, resulting in significant differences in the visual features. This perspective heterogeneity constrains the generality of VLA models. In light of this, we first propose the lightweight module VLA-LPAF to foster the perspective adaptivity of VLA models using only 2D data. VLA-LPAF is finetuned using images from a single view and fuses other multiview observations in the latent space, which effectively and efficiently bridge the gap caused by perspective inconsistency. We instantiate our VLA-LPAF framework with the VLA model RoboFlamingo to construct RoboFlamingo-LPAF. Experiments show that RoboFlamingo-LPAF averagely achieves around 8% task success rate improvement on CALVIN, 15% on LIBERO, and 30% on a customized simulation benchmark. We also demonstrate the developed viewadaptive characteristics of the proposed RoboFlamingo-LPAF through real-world tasks.
• Abstract（参考訳）: VLA(Visual-Language-Action)モデルは、周囲の環境の視覚的な観察に応じて、テキストの指示に従うことができる。 このマルチモーダル入力をアクションにマッピングする能力は、VLAモデルの広範囲な標準実証のトレーニングに由来する。 これらの視覚的観察は、第3のグローバルカメラと、第4のローカルカメラによって、必然的に異なる環境における数と視界に変化し、視覚的特徴に大きな違いをもたらす。 この観点の不均一性は、VLAモデルの一般化を制約する。 そこで我々はまず,2次元データのみを用いてVLAモデルの視点適応性を向上する軽量モジュールVLA-LPAFを提案する。 VLA-LPAFは、単一のビューの画像を用いて微調整され、潜在空間における他のマルチビュー観測を融合させ、視点の不整合によるギャップを効果的に効果的に橋渡しする。 我々はVLAモデルであるRoboFlamingoでVLA-LPAFフレームワークをインスタンス化し、RoboFlamingo-LPAFを構築する。 実験によると、RoboFlamingo-LPAFは、CALVINで平均8%、LIBEROで15%、カスタマイズされたシミュレーションベンチマークで30%のタスク成功率の改善を実現している。 また,提案するRoboFlamingo-LPAFの視覚適応特性を実世界のタスクを通して示す。

関連論文リスト

• RoboMonkey: Scaling Test-Time Sampling and Verification for Vision-Language-Action Models [28.422082187079166]
  我々は、Vision-Language-Action(VLA)モデルのテスト時間スケーリングフレームワークであるRoboMonkeyを紹介した。 RoboMonkeyは、VLAから小さなアクションの集合をサンプリングし、ガウス摂動と過半数投票を適用してアクション提案分布を構築し、次に視覚言語モデル(VLM)ベースの検証器を使用して最適なアクションを選択する。 既存のVLAとRoboMonkeyのペアリングは大きなパフォーマンス向上をもたらし、アウト・オブ・ディストリビューションタスクでは25%、イン・ディストリビューションタスクでは9%の絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2025-06-21T20:56:17Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)
• VLsI: Verbalized Layers-to-Interactions from Large to Small Vision Language Models [63.27511432647797]
  VLsI: Verbalized Layers-to-Interactions, a new VLM family in 2B and 7B model size。 GPT-4Vよりも優れた性能向上(2Bは11.0%、7Bは17.4%)を達成した。
  論文  参考訳（メタデータ） (2024-12-02T18:58:25Z)
• Run-time Observation Interventions Make Vision-Language-Action Models More Visually Robust [9.647148940880381]
  視覚言語アクション(VLA)モデルは、大規模なインターネットデータとロボットのデモンストレーションに基づいて訓練され、汎用的なロボットポリシーとして機能する可能性がある。 本稿では,入力画像の領域を動的に識別するリアルタイム介入方式である bring Your Own VLA (BYOVLA) を紹介する。 我々は,BYOVLAが最先端のVLAモデルに対して,邪魔な対象や背景が存在する場合に,その名目上の性能をほぼ維持できることを示す。
  論文  参考訳（メタデータ） (2024-10-02T19:29:24Z)
• VLATest: Testing and Evaluating Vision-Language-Action Models for Robotic Manipulation [7.8735930411335895]
  本稿では,VLAモデルをテストするロボット操作シーンを生成するファジィフレームワークであるVLATestを紹介する。 VLATestに基づいて,7つの代表的なVLAモデルの性能評価実験を行った。
  論文  参考訳（メタデータ） (2024-09-19T16:33:00Z)
• OpenVLA: An Open-Source Vision-Language-Action Model [131.74098076670103]
  我々は、970kの現実世界のロボットデモの多様なコレクションに基づいて訓練されたオープンソースのVLAであるOpenVLAを紹介した。 OpenVLAは汎用的な操作の強力な結果を示し、RT-2-X (55B) のようなクローズドモデルよりも16.5%高い絶対的なタスク成功率を示した。 モデルチェックポイント、微調整ノートブック、そしてOpen X-Embodimentデータセット上で大規模にVLAをトレーニングするためのビルトインサポートを備えたPyTorchをリリースしています。
  論文  参考訳（メタデータ） (2024-06-13T15:46:55Z)
• Omniview-Tuning: Boosting Viewpoint Invariance of Vision-Language Pre-training Models [32.83187649097727]
  100万以上のオブジェクトに対して400万以上のマルチビューイメージテキストペアのデータセットを構築します。 我々はOmniview-Tuning(OVT)と呼ばれる新しい微調整フレームワークを設計する。 OVTは、ミニマックスのような最適化戦略を通じて、クロスポイントアライメントの目標を導入する。
  論文  参考訳（メタデータ） (2024-04-18T12:41:33Z)
• VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
  VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。 VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。 ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-01-15T17:28:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。