論文の概要: Spatial Traces: Enhancing VLA Models with Spatial-Temporal Understanding

• arxiv url: http://arxiv.org/abs/2508.09032v1
• Date: Tue, 12 Aug 2025 15:53:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.487986
• Title: Spatial Traces: Enhancing VLA Models with Spatial-Temporal Understanding
• Title（参考訳）: 空間的トレース:空間的時間的理解によるVLAモデルの強化
• Authors: Maxim A. Patratskiy, Alexey K. Kovalev, Aleksandr I. Panov,
• Abstract要約: 本研究では,観測から深度マップにキーポイントの視覚的トレースを投影し,空間情報と時間情報の両方を同時に取得する手法を提案する。 SimplerEnvの実験では、SpatialVLAの4%、TraceVLAの19%に比べて、解決したタスクの平均数が増加した。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language-Action models have demonstrated remarkable capabilities in predicting agent movements within virtual environments and real-world scenarios based on visual observations and textual instructions. Although recent research has focused on enhancing spatial and temporal understanding independently, this paper presents a novel approach that integrates both aspects through visual prompting. We introduce a method that projects visual traces of key points from observations onto depth maps, enabling models to capture both spatial and temporal information simultaneously. The experiments in SimplerEnv show that the mean number of tasks successfully solved increased for 4% compared to SpatialVLA and 19% compared to TraceVLA. Furthermore, we show that this enhancement can be achieved with minimal training data, making it particularly valuable for real-world applications where data collection is challenging. The project page is available at https://ampiromax.github.io/ST-VLA.
• Abstract（参考訳）: 視覚・言語・アクションモデルでは、仮想環境内のエージェントの動きを予測し、視覚的な観察やテキストによる指示に基づいて現実のシナリオを予測できることが示されている。 近年の研究では,空間的・時間的理解を独立に向上することに焦点を当てているが,視覚的プロンプトを通じて両側面を統合する新しいアプローチを提案する。 本研究では,観測から深度マップにキーポイントの視覚的トレースを投影し,空間情報と時間情報の両方を同時に取得する手法を提案する。 SimplerEnvの実験では、SpatialVLAの4%、TraceVLAの19%に比べて、解決したタスクの平均数が増加した。 さらに、この拡張は、最小限のトレーニングデータで達成できることを示し、データ収集が困難である現実世界のアプリケーションにとって特に有用であることを示す。 プロジェクトページはhttps://ampiromax.github.io/ST-VLAで公開されている。

関連論文リスト

• TrackVLA: Embodied Visual Tracking in the Wild [34.03604806748204]
  Embodied visual trackingは、Embodied AIの基本的なスキルであり、エージェントは、自我中心の視覚のみを使用して、動的環境における特定のターゲットに従うことができる。 既存のアプローチは通常、認識と計画のモジュラー分離を通じてこの問題に対処する。 本研究では,物体認識と軌道計画の相乗効果を学習する視覚・言語・行動モデルであるTrackVLAを提案する。
  論文  参考訳（メタデータ） (2025-05-29T07:28:09Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Learning to Localize Objects Improves Spatial Reasoning in Visual-LLMs [38.02017186215372]
  大きな言語モデル(LLM)を視覚領域タスクに統合し、視覚的なLLM(V-LLM)を実現することにより、視覚言語タスクにおける例外的なパフォーマンスを実現している。 しかし、既存のV-LLMは空間的推論と局所化認識が弱い。 画像空間座標に基づく微調整目標が空間認識をV-LLMに注入する方法について検討する。
  論文  参考訳（メタデータ） (2024-04-11T03:09:34Z)
• GroundVLP: Harnessing Zero-shot Visual Grounding from Vision-Language Pre-training and Open-Vocabulary Object Detection [24.48128633414131]
  画像テキストペアと純粋なオブジェクト検出データから学習した既存のモデルから視覚的グラウンドティング能力を利用するゼロショット手法を提案する。 提案手法は,RefCOCO/+/gデータセットにおいて,他のゼロショット法よりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-22T20:14:55Z)
• Voila-A: Aligning Vision-Language Models with User's Gaze Attention [56.755993500556734]
  視覚言語モデル(VLM)を導くために,人間の注意の代用として視線情報を導入する。 本稿では,視線アライメントのための新しいアプローチであるVoila-Aを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:01Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• DeepVisualInsight: Time-Travelling Visualization for Spatio-Temporal Causality of Deep Classification Training [7.4940788786485095]
  本稿では,深層学習画像の学習中に因果性を示すことを目的とした,時間旅行型ビジュアルソリューションDeepVisualInsightを提案する。 本研究では,学習した入力表現のレイアウトと,連続したエポックにおける境界にどのような影響を及ぼすかを示す。 実験により, ベースライン手法と比較して, 空間的・時間的特性と可視化効率について, 最高の可視化性能が得られることを示した。
  論文  参考訳（メタデータ） (2021-12-31T07:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。