論文の概要: Topology-Informed Visual Prompting For Vision Language Action Policies

• arxiv url: http://arxiv.org/abs/2609.23944v1
• Date: Sun, 20 Sep 2026 23:39:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:13:15.482863
• Title: Topology-Informed Visual Prompting For Vision Language Action Policies
• Title（参考訳）: 視覚言語アクションポリシーのためのトポロジーインフォームドビジュアルプロンプティング
• Abstract要約: 視覚言語アクション(VLA)ポリシーは、部分的な可観測性のために複雑な障害物ジオメトリーを持つ操作タスクと競合する可能性がある。 本稿では,シミュレーションに基づく計画手法を用いて,概念実証データセットを増強するトポロジ誘導型ビジュアルプロンプティングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.2979228480631
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) policies can struggle with manipulation tasks with complex obstacle geometries due to partial observability. These complex geometries can lead to similar visual observations or robot configurations requiring qualitatively different actions, a distinction that can be quantified using topological signatures. While motion planners with full knowledge of environment geometries and object states can reason about these signatures in planning, this information is often not known at deployment. To address this issue, we present a topology-guided visual-prompting framework that uses simulation-based planning to augment a nominal demonstration dataset and provides vision-based guidance at deployment. Our method uses a Gauss-Linking-Integral topological signature representation to capture important topological properties of the environment. Using privileged geometry information from a simulation approximation of our environment, we augment a VLA fine-tuning dataset with trajectories that move the system to a demonstrated signature and, from the new configuration, resume task execution. A vision-language model (VLM) is fine-tuned on the same dataset to both predict signatures from live camera observations and predict end-effector waypoints, which are rendered as visual prompts on the observations to guide the VLA. Across three simulated bimanual tasks and a real-world box pickup task, our method outperforms a VLA fine-tuned only on nominal demonstrations and a VLM-prompting baseline that can remove topology-relevant information from observations. On hardware, it exceeds the strongest baseline by 40% in task success. Project website: https://topology-vla.github.io.
• Abstract（参考訳）: 視覚言語アクション(VLA)ポリシーは、部分的な可観測性のために複雑な障害物ジオメトリーを持つ操作タスクと競合する可能性がある。 これらの複雑なジオメトリは、同様の視覚的観察や、位相的シグネチャを用いて定量化できる定性的に異なる行動を必要とするロボット構成につながる可能性がある。 環境のジオメトリやオブジェクト状態について十分な知識を持つモーションプランナーは、これらのシグネチャを計画において推論することができるが、この情報はデプロイ時によく知られていない。 この問題に対処するために、シミュレーションベースの計画を用いて、名目上の実証データセットを増強し、デプロイ時にビジョンベースのガイダンスを提供する、トポロジ誘導型ビジュアルプロンプティングフレームワークを提案する。 提案手法では,ガウス・リンク・インテグレラルな位相的シグネチャ表現を用いて,環境の重要なトポロジ特性を抽出する。 環境のシミュレーション近似から得られる特権的幾何学情報を用いて、VLAの微調整データセットを拡張して、システムを実証されたシグネチャに移動させ、新しい構成からタスク実行を再開する。 視覚言語モデル(VLM)は同じデータセット上で微調整を行い、ライブカメラ観測からのシグネチャの予測と、VLAを誘導する観察の視覚的プロンプトとしてレンダリングされるエンドエフェクタのウェイポイントの予測の両方を行う。 3つの模擬バイマニュアルタスクと実世界のボックスピックアップタスクにまたがって,本手法は,観測結果から位相関連情報を除去できる,名目的デモンストレーションとVLMプロンプトベースラインのみに基づいて,VLAの微調整を行う。 ハードウェアでは、タスク成功の40%が最強のベースラインを越えた。 プロジェクトウェブサイト: https://topology-vla.github.io

関連論文リスト

• GaLa: Hypergraph-Guided Visual Language Models for Procedural Planning [14.265218749993956]
  オブジェクト属性に符号化された暗黙的な空間関係と深い意味構造は、具体化されたAIシステムにおける手続き的計画に不可欠である。 マルチモーダルな手続き計画のための視覚言語フレームワークであるGaLaを提案する。 GaLaは,実行成功率,LCS,計画正当性において,既存手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2026-04-19T04:04:02Z)
• AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
  VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。 本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
  論文  参考訳（メタデータ） (2026-03-18T12:43:47Z)
• TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
  Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。 我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。 トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。 埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
  論文  参考訳（メタデータ） (2026-03-03T13:28:07Z)
• Capturing Visual Environment Structure Correlates with Control Performance [62.69063991419694]
  既存のプロキシメトリクスは、ビジュアル世界の狭い側面をキャプチャする表現能力に重点を置いている。 事前学習された視覚エンコーダが環境状態の復号化を支援するかを測定する。 この推定精度は、下流の政策性能と強く相関していることを示す。
  論文  参考訳（メタデータ） (2026-02-04T18:59:12Z)
• GeoRSMLLM: A Multimodal Large Language Model for Vision-Language Tasks in Geoscience and Remote Sensing [33.19843463374473]
  リモートセンシングにおける視覚言語モデル(VLM)は、従来のタスクにおいて大きな可能性を示している。 Referring Expression (REC) に長けている現在のモデルは、複雑な命令を含むタスクに苦労している。 本稿では、オープン語彙タスク(OVT)、表現タスク(RET)、記述対象タスク(DOT)を含むリモートセンシングビジョンランゲージタスクセット(RSVLTS)を紹介する。 本稿では, RSVLTS のセット・オブ・ポイント・アプローチと, 循環参照に基づく条件と自己拡張戦略を用いた新しい統一データ表現を提案する。
  論文  参考訳（メタデータ） (2025-03-16T12:48:17Z)
• GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks [84.86699025256705]
  本稿では,地理空間的タスクの視覚言語モデル(VLM)を評価するためのベンチマークであるGEOBench-VLMを提案する。 私たちのベンチマークでは、手動で検証された命令が1万以上あり、さまざまな視覚条件、オブジェクトタイプ、スケールにまたがっています。 地理空間固有の課題における性能を評価するために,いくつかの最先端のVLMを評価した。
  論文  参考訳（メタデータ） (2024-11-28T18:59:56Z)
• Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。 本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。