Fugu-MT 論文翻訳(概要): Spatial Memory for Out-of-Vision Manipulation in Vision-Language-Action

論文の概要: Spatial Memory for Out-of-Vision Manipulation in Vision-Language-Action

arxiv url: http://arxiv.org/abs/2605.22283v1
Date: Thu, 21 May 2026 10:32:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-22 16:35:42.210829
Title: Spatial Memory for Out-of-Vision Manipulation in Vision-Language-Action
Title（参考訳）: ビジョン・ランゲージ・アクションにおける視覚外マニピュレーションのための空間記憶
Authors: Pengteng Li, Weiyu Guo, He Zhang, Tiefu Cai, Xiao He, Yandong Guo, Hui Xiong,
Abstract要約: 本稿では,ビジョン・ランゲージ・アクション(VLA)モデルにおける視覚外操作のための空間記憶フレームワークであるSOMAを紹介する。このフレームワークは、空間記憶構成、動的記憶再構成、コンテキスト記憶検索の3つのコンポーネントで構成されている。我々はSOMAをマルチステップとデュアルアームのシナリオを含む5つの現実的外界操作タスクで評価する。
参考スコア（独自算出の注目度）: 33.511005694762126
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce SOMA, the Spatial Memory framework for Out-of-Vision Manipulation in Vision-Language-Action (VLA) models. Most existing VLAs implicitly assume that task-relevant objects are always visible, leading to brittle and reactive behaviors when targets fall outside the camera's field of view. SOMA addresses this limitation by equipping VLAs with a persistent spatial memory constructed from multi-view observations acquired via a movable head camera, enabling reasoning beyond the current visual frustum. The framework consists of three components: Spatial Memory Construction, which aggregates angular-wise observations into a unified spatial-semantic representation through scanning; Dynamic Memory Refinement, which maintains global consistency over time; and Contextual Memory Retrieval, which activates instruction-relevant spatial cues during manipulation. We evaluate SOMA on five challenging real-world out-of-vision manipulation tasks, including multi-step and dual-arm scenarios where target objects are initially invisible. Experimental results show that SOMA not only improves task success rates, but also induces qualitatively different manipulation behaviors, with faster target localization, reduced viewpoint search, and near one-shot grasping under partial observability. Additional experiments on RoboCasa GR1 and SimplerEnv further validate the effectiveness of SOMA's memory design under conventional fully observable settings. Code will be released soon.
Abstract（参考訳）: 本稿では,ビジョン・ランゲージ・アクション(VLA)モデルにおける視覚外操作のための空間記憶フレームワークであるSOMAを紹介する。ほとんどの既存のVLAは、タスク関連オブジェクトが常に可視であると暗黙的に仮定し、カメラの視野外にあるターゲットが不安定でリアクティブな振る舞いを引き起こす。 SOMAはこの制限に対処するため、VLAに可動ヘッドカメラを介して取得した多視点観測から構成された永続的な空間記憶を装備し、現在の視覚フラストラムを越えて推論を可能にする。このフレームワークは3つのコンポーネントから構成される:空間記憶構築(Spatial Memory Construction)は、スキャンによって角方向の観測を統一された空間意味表現に集約する。対象物が当初見えないマルチステップとデュアルアームのシナリオを含む,5つの現実的外界操作タスクにおいて,SOMAを評価した。実験結果から, SOMAはタスク成功率の向上だけでなく, 目標位置の高速化, 視点探索の短縮, 部分観測可能性下でのワンショットグルーピングなど, 定性的に異なる操作動作を誘導することがわかった。 RoboCasa GR1とSimplerEnvのさらなる実験は、従来の完全に観測可能な設定下でのSOMAのメモリ設計の有効性をさらに検証した。コードはまもなくリリースされる。

関連論文リスト

GSMem: 3D Gaussian Splatting as Persistent Spatial Memory for Zero-Shot Embodied Exploration and Reasoning [9.203056739430865]
GSMemは3Dガウススプラッティング(3DGS)上に構築されたゼロショット型探査・推論フレームワーク連続幾何と密接な外観を明示的にパラメータ化することにより、3DGSは持続的な空間記憶として機能し、エージェントにtextitSpatial Recollection を付与する。本稿では,VLMによるセマンティックスコアリングと3DGSに基づくカバレッジ目標を組み合わせ,タスク認識探索と幾何学的カバレッジのバランスをとるハイブリッド探索戦略を提案する。
論文参考訳（メタデータ） (2026-03-19T16:55:54Z)
RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies [54.23445842621374]
記憶は、長い水平と歴史に依存したロボット操作にとって重要である。近年,視覚言語アクション(VLA)モデルにメモリ機構が組み込まれ始めている。本稿では,VLAモデルの評価と進展のための大規模標準ベンチマークであるRoboMMEを紹介する。
論文参考訳（メタデータ） (2026-03-04T21:59:32Z)
Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
論文参考訳（メタデータ） (2026-02-23T11:00:08Z)
Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
論文参考訳（メタデータ） (2026-02-03T00:51:03Z)
ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
論文参考訳（メタデータ） (2026-01-23T11:31:07Z)
Rethinking Progression of Memory State in Robotic Manipulation: An Object-Centric Perspective [16.541717037293278]
物体レベルの部分観測性の下でのストレステストロボット操作のための非マルコフタスクスイートであるLIBERO-Memを紹介する。短軸と長軸の物体追跡と時間的に順序付けられたサブゴールを組み合わせ、現在のフレームを超えて推論を必要とする。 Embodied-SlotSSMは時間的拡張性のために構築されたスロット中心のVLAフレームワークである。
論文参考訳（メタデータ） (2025-11-14T16:56:01Z)
VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models [78.88575188716378]
VisMemはヴィジュアル・ランゲージ・モデルに動的潜在視覚記憶、微細な知覚保持のための短期モジュール、抽象的セマンティック・コンソリデーションのための長期モジュールを装備するフレームワークである。我々の実験によると、VisMemはバニラモデルと比較して11.8%の大幅なパフォーマンス向上を実現している。
論文参考訳（メタデータ） (2025-11-14T06:51:34Z)
Cross-Layer Vision Smoothing: Enhancing Visual Understanding via Sustained Focus on Key Objects in Large Vision-Language Models [13.17978215666921]
LVLM(Large Vision-Language Models)は、画像中の重要なオブジェクトを正確に見つけることができるが、これらのオブジェクトへの注意は非常に短い傾向にある。キーオブジェクトへの継続的なフォーカスがLVLMの視覚能力を向上させるという仮説に触発され、CLVS(Cross-Layer Vision Smoothing)を提案する。 CLVSは様々な視覚的理解タスクで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2025-09-16T09:54:01Z)
ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
論文参考訳（メタデータ） (2025-05-27T17:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。