論文の概要: GeoMem-VLA: Internalizing 3D Scene Understanding into Temporal Memory for Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2610.29866v1
• Date: Wed, 21 Oct 2026 15:23:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.258548
• Title: GeoMem-VLA: Internalizing 3D Scene Understanding into Temporal Memory for Vision-Language-Action Models
• Title（参考訳）: GeoMem-VLA:ビジョン・ランゲージ・アクションモデルのための3次元シーン理解を時間記憶に内部化する
• Abstract要約: VLAフレームワークであるGeoMem-VLAを導入する。 推論では、ポリシーは過去の表現を検索し、現在の動作表現と融合してアクションを予測する。 現実世界の5つのタスクの中で、GeoMem-VLAは平均78.0%の成功を達成した。
• 参考スコア（独自算出の注目度）: 12.76311540066132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Geometric structure is essential for robotic manipulation and understanding the 3D world. Most VLA models rely on 2D representations of current observations, while geometry-aware approaches often require additional 3D information. However, geometry inferred independently from individual observations is often discarded rather than accumulated into a persistent task representation. Our key insight is that action generation needs a compact, task-relevant geometric abstraction that can be continuously updated, rather than a complete, renderable 3D reconstruction at every step. We introduce GeoMem-VLA, a VLA framework that internalizes explicit 3D supervision into dedicated geometric tokens and maintains them as temporal memory for action generation, without directly aligning the VLM's native visual embeddings with the teacher feature space. During training, a frozen geometry foundation model supervises learnable GeoPlan tokens through a geometric flow-matching objective over the current scene point map and future end-effector tracks. These tokens are integrated with the memory of observation representations, where historical information is retrieved, adaptively fused with current observations, and consolidated to retain event frames as the task progresses. At inference, the policy retrieves historical representations and fuses them with the current working representation to predict actions, without invoking the 3D teacher or explicitly reconstructing the scene. After benchmark-specific downstream adaptation, GeoMem-VLA achieves 98.9% average success on LIBERO and 91.10% / 91.24% on RoboTwin's clean/randomized settings. Across five real-world tasks, GeoMem-VLA achieves 78.0% average success. These results suggest that internalizing and remembering 3D scene understanding is a promising approach to robot control.
• Abstract（参考訳）: 幾何学的構造は、ロボット操作と3D世界の理解に不可欠である。 ほとんどのVLAモデルは現在の観測の2次元表現に依存しているが、幾何学的なアプローチでは追加の3次元情報を必要とすることが多い。 しかし、個々の観測から独立して推測される幾何学は、永続的なタスク表現に蓄積されるのではなく、しばしば捨てられる。 私たちのキーとなる洞察は、アクション生成にはコンパクトでタスク関連の幾何学的抽象化が必要です。 我々は,VLMのネイティブな視覚的埋め込みと教師機能空間を直接整合させることなく,明示的な3次元監督を専用の幾何学的トークンに内部化し,それらを時間記憶として保持するVLAフレームワークであるGeoMem-VLAを紹介した。 凍結幾何基礎モデルでは、学習可能なGeoPlanトークンを、現在のシーンポイントマップと将来のエンドエフェクタトラック上の幾何学的フローマッチング目標を通じて監督する。 これらのトークンは、過去の情報が検索され、現在の観測と適応的に融合され、タスクが進行するにつれてイベントフレームを保持するために統合される観察表現の記憶と統合される。 推論時に、ポリシーは歴史的表現を検索し、現在の作業表現と融合し、3Dの教師を呼び出したり、シーンを明示的に再構築したりすることなく、アクションを予測する。 ベンチマーク固有の下流適応の後、GeoMem-VLAは平均98.9%をLIBEROで、91.10% / 91.24%をRoboTwinのクリーン/ランダム化設定で達成した。 現実世界の5つのタスクの中で、GeoMem-VLAは平均78.0%の成功を達成した。 これらの結果は,3次元シーン理解の内在化と記憶がロボット制御における有望なアプローチであることを示唆している。

関連論文リスト

• FOCAL-VLA: Subtask-Guided Geometry Distillation and Implicit World Modeling for Vision-Language-Action Models [13.38163309445598]
  FOCAL-VLAは、サブタスク誘導幾何蒸留と暗黙の世界モデリングを組み合わせたフレームワークである。 FOCAL-VLAはシミュレーションベンチマークと実世界の操作タスクの両方でベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-18T02:18:34Z)
• GeomVLA: Unifying Scene, Motion, and Action in 3D [21.79752613135453]
  ロボット中心の3D座標フレーム内での知覚,潜時シーンの予測,行動生成を統一するモデルであるGeomVLAを提案する。 提案手法は, 深度とカメラキャリブレーションを用いた空間的に接地された3次元シーントークンに, 予め訓練したVLM特徴を持ち上げる。 本稿では,3D におけるシーンポイントの移動の遅延表現を学習するタスク条件付きモジュールである 3D Scene Trajectory Denoiser を紹介する。
  論文  参考訳（メタデータ） (2026-09-12T08:51:52Z)
• Lift3D-VLA: Lifting VLA Models to 3D Geometry and Dynamics-Aware Manipulation [76.16065370700488]
  We introduced Lift3D-VLA, a unified VLA framework that equips models with explicit 3D point cloud reasoning and possible temporally coherent action generation。 我々は,Lift3D-VLAがMetaWorldとRLBenchの平均成功率を10.8%,11.1%向上したことを示す。
  論文  参考訳（メタデータ） (2026-07-07T17:59:47Z)
• Scal3R: Scalable Test-Time Training for Large-Scale 3D Reconstruction [50.5449251266956]
  本稿では,長い映像シーケンスから大規模3Dシーンを再構築する作業について述べる。 近年のフィードフォワード再構成モデルでは,RGB画像からの3次元幾何を,明示的な3次元先行や幾何学的制約なく直接回帰することで,有望な結果を示している。 本稿では,長距離シーン情報を効率よく圧縮し,保持するニューラルグローバルコンテキスト表現を提案する。
  論文  参考訳（メタデータ） (2026-04-09T17:59:50Z)
• Action-Geometry Prediction with 3D Geometric Prior for Bimanual Manipulation [53.09168514034483]
  バイマン操作は3次元幾何学を推論し、動作中にどのように進化するかを予測し、滑らかで協調された動きを生成するポリシーを必要とする。 本稿では,事前学習した3次元幾何学的基礎モデルに基づいて,バイマン操作を直接構築するフレームワークを提案する。 我々の政策は、幾何学的認識の潜伏子、2次元意味的特徴、およびプロプレセプションを統一状態表現に融合させ、拡散モデルを用いて将来のアクションチャンクと、密度の高いポイントマップにデコードする未来の3次元潜伏子を共同で予測する。
  論文  参考訳（メタデータ） (2026-02-27T08:54:20Z)
• StemVLA:An Open-Source Vision-Language-Action Model with Future 3D Spatial Geometry Knowledge and 4D Historical Representation [6.0744834626758495]
  StemVLAは、未来の3D空間知識と歴史的4D表現の両方をアクション予測に明示的に組み込む新しいフレームワークである。 我々は,CALVIN ABC-D ベンチマーク [46] において,StemVLA はタスクの長期化と最先端性能を著しく向上し,XXX の平均シーケンス長を達成できることを示した。
  論文  参考訳（メタデータ） (2026-02-27T06:43:37Z)
• GLaD: Geometric Latent Distillation for Vision-Language-Action Models [106.53332923530245]
  GLaDは、知識蒸留による事前学習中に3次元の幾何学的先行を組み込んだ幾何学的認識型視覚・言語・アクション(VLA)フレームワークである。 GLaDは4つのLIBEROタスクスイートの平均成功率は94.1%で、同じ事前トレーニングデータを使用するUniVLA(92.5%)を上回っている。
  論文  参考訳（メタデータ） (2025-12-10T13:07:27Z)
• EA3D: Online Open-World 3D Object Extraction from Streaming Videos [55.48835711373918]
  オープンワールド3Dオブジェクト抽出のための統合オンラインフレームワークであるExtractAnything3D(EA3D)を提案する。 ストリーミングビデオが与えられると、EA3Dは視覚言語と2D視覚基盤エンコーダを使用して各フレームを動的に解釈し、オブジェクトレベルの知識を抽出する。 リカレントな共同最適化モジュールは、モデルの関心領域への注意を向け、幾何学的再構成と意味的理解の両面を同時に強化する。
  論文  参考訳（メタデータ） (2025-10-29T03:56:41Z)
• GeoPurify: A Data-Efficient Geometric Distillation Framework for Open-Vocabulary 3D Segmentation [57.8059956428009]
  2次元視覚言語モデルから3次元セマンティックセグメンテーションへ機能を移行しようとする最近の試みは、永続的なトレードオフを露呈している。 3次元教師モデルから抽出した幾何学的事前情報を用いて2次元VLM生成した3次元点特徴に小さな学生親和性ネットワークを適用したGeoPurifyを提案する。 遅延幾何学情報と学習された親和性ネットワークから恩恵を受けることで、GeoPurifyはトレードオフを効果的に軽減し、優れたデータ効率を実現する。
  論文  参考訳（メタデータ） (2025-10-02T16:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。