論文の概要: PointACT: Vision-Language-Action Models with Multi-Scale Point-Action Interaction

• arxiv url: http://arxiv.org/abs/2605.21414v1
• Date: Wed, 20 May 2026 17:10:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.802148
• Title: PointACT: Vision-Language-Action Models with Multi-Scale Point-Action Interaction
• Title（参考訳）: ポイントアクティベーション:マルチスケールのポイント・アクション相互作用を持つビジョン・ランゲージ・アクションモデル
• Authors: Shizhe Chen, Paul Pacaud, Cordelia Schmid,
• Abstract要約: 我々は,階層的な3Dポイントクラウド表現をアクションデコーディングプロセスに直接統合する,デュアルシステム3D対応VLAポリシーであるPointACTを提案する。 PointACTは、効率的なボトルネックウィンドウ自己アテンションを備えたマルチスケールのポイントアクションインタラクション機構を採用し、進化するアクショントークンが局所的な幾何学的詳細とグローバルなシーン構造の両方に密に関与できるようにする。
• 参考スコア（独自算出の注目度）: 57.63073414949329
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models have shown strong potential for general-purpose robotic manipulation by leveraging large pretrained vision-language backbones. However, most existing VLAs rely primarily on 2D visual representations, which limit their ability to reason about fine-grained geometry and spatial grounding - capabilities that are essential for precise and robust manipulation in 3D environments. In this paper, we propose PointACT, a dual-system 3D-aware VLA policy that integrates hierarchical 3D point cloud representations directly into the action decoding process. PointACT employs a multi-scale point-action interaction mechanism with efficient bottleneck window self-attention, enabling evolving action tokens to densely attend to both local geometric detail and global scene structure. We evaluate PointACT on the LIBERO and RLBench benchmarks and systematically compare it against monolithic and dual-system VLA baselines, including variants augmented with point cloud inputs. PointACT achieves consistent improvements across both benchmarks, increasing success rates by 10% on the challenging RLBench-10Tasks suite over state-of-the-art pretrained VLAs, with even larger gains when the vision-language backbone is frozen and the action expert is trained from scratch. Extensive ablation studies demonstrate that tightly coupling hierarchical 3D geometry with pretrained 2D semantic representations is critical for robust and spatially grounded robot control. Our results also highlight the promise of pretrained 3D representations for 3D-aware VLA policies.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、大きな事前訓練された視覚言語バックボーンを活用することで、汎用ロボット操作の強力な可能性を示している。 しかしながら、既存のVLAのほとんどは主に2次元の視覚表現に依存しており、3D環境における精密で堅牢な操作に不可欠な細粒度の幾何学と空間的接地を推論する能力を制限する。 本稿では,階層型3Dポイントクラウド表現をアクションデコーディングプロセスに直接統合する,デュアルシステム3D対応VLAポリシーであるPointACTを提案する。 PointACTは、効率的なボトルネックウィンドウの自己アテンションを備えたマルチスケールのポイントアクションインタラクション機構を採用しており、進化するアクショントークンが局所幾何学的詳細とグローバルなシーン構造の両方に密に対応できるようにする。 我々は,LIBERO と RLBench ベンチマーク上で PointACT を評価し,点クラウド入力を付加した変種を含むモノリシックおよびデュアルシステム VLA ベースラインと体系的に比較した。 PointACTは両方のベンチマークで一貫した改善を実現し、最先端のVLAよりも挑戦的なRLBench-10Tasksスイートで成功率を10%向上させる。 広範囲にわたるアブレーション研究は、頑丈で空間的に接地されたロボット制御において、階層的な3次元幾何学と事前訓練された2次元意味表現との密結合が重要であることを示した。 また、3D対応VLAポリシーの事前学習による3D表現の可能性を強調した。

関連論文リスト

• Robotic Manipulation is Vision-to-Geometry Mapping ($f(v) \rightarrow G$): Vision-Geometry Backbones over Language and Video Models [65.05130114320734]
  一般化可能なロボット制御の基礎は、広く採用されている視覚言語やビデオモデルではなく、視覚幾何学のバックボーンであるべきだと我々は主張する。 本研究では,事前訓練されたネイティブ3次元表現上でのアクション生成を直接条件付きで行うビジョン・ジオメトリ・アクション・モデルを提案する。 具体的には、VGAは従来の言語やビデオのバックボーンを事前訓練された3Dワールドモデルに置き換え、シームレスな視覚と幾何学のマッピングを確立する。
  論文  参考訳（メタデータ） (2026-04-14T15:57:16Z)
• AugVLA-3D: Depth-Driven Feature Augmentation for Vision-Language-Action Models [42.57469056850227]
  VLA(Vision-Language-Action)モデルは最近、ロボットの知覚と制御において顕著な進歩を遂げている。 深度推定をVLAモデルに統合し,3次元特徴表現を充実させる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-11T09:57:32Z)
• D3D-VLP: Dynamic 3D Vision-Language-Planning Model for Embodied Grounding and Navigation [66.7166217399105]
  エージェントは、エンドツーエンドモデルには解釈可能性や明示的な3D推論が欠けているという、重要なジレンマに直面します。 1) 計画,グラウンド,ナビゲーション,質問応答を単一の3D-VLMパイプラインとCoTパイプラインで統一する動的3Dチェーン(3D CoT) ; 2) フラグメンテッド・スーパービジョン(SLFS)戦略からのシナジスティック学習 マスク付き自己回帰損失を用いて,大規模かつ部分的に注釈付けされたハイブリッドデータから学習する。
  論文  参考訳（メタデータ） (2025-12-14T09:53:15Z)
• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding [11.222744122842023]
  本稿では、3次元幾何学的特徴を暗黙的にVision-Language-Action(VLA)モデルに組み込むプラグイン・アンド・プレイ・モジュールを提案する。 提案手法は,様々なシナリオにおける最先端VLAモデルの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-07-01T04:05:47Z)
• PointVLA: Injecting the 3D World into Vision-Language-Action Models [10.758939578236582]
  我々は,ポイントクラウド入力を必要とせずに,事前学習された視覚言語行動モデルを強化するフレームワークであるPointVLAを提案する。 本手法は,バニラ動作の専門家を凍結し,軽量なモジュールブロックを介して3次元特徴を注入する。 PointVLAは、シミュレーションと現実世界の両方のロボットタスクにおいて、最先端の2D模倣学習方法より優れています。
  論文  参考訳（メタデータ） (2025-03-10T16:32:41Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。