論文の概要: Token-Wise Latent Streaming from Slow Reasoners to Fast Planners for Dynamic Vision Language Navigation
- arxiv url: http://arxiv.org/abs/2607.16806v1
- Date: Sat, 18 Jul 2026 12:55:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.26336
- Title: Token-Wise Latent Streaming from Slow Reasoners to Fast Planners for Dynamic Vision Language Navigation
- Title（参考訳）: 動的視覚言語ナビゲーションのための低速共振器から高速プランナーへのToken-Wise遅延ストリーミング
- Abstract要約: 動的で人間中心の環境における視覚言語ナビゲーションは、言語推論が遅くて熟考的である、という根本的な緊張を露呈する。
本稿では,動的ソーシャルVLNのためのデュアルシステムフレームワークであるSPARK-VLNを提案する。
- 参考スコア（独自算出の注目度）: 26.069212354513382
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language Navigation in dynamic, human-centric environments exposes a fundamental tension: linguistic reasoning is slow and deliberative, whereas safe, socially compliant planning should be instant and reactive. The resulting observation staleness is safety-critical: a maneuver chosen during inference can already be unsafe by the time it executes. We observe that, long before a VLM finishes its inference, its intermediate hidden states already encode action-relevant intent. We propose SPARK-VLN, a dual-system framework for dynamic social VLN that streams the slow VLM reasoner's knowledge to a fast flow-matching expert planner throughout token generation, providing fresh and evolving guidance during inference. This design is realized by three modules: a Token-Wise Hidden Streamer that extracts intermediate hidden states along the token generation process, a Sequence-to-Slot Latent Bridge that projects them into fixed-size latent slots, and an Evolving Latent Conditioner that infuses them into the expert planner. We also introduce a human-centric benchmark suite for dynamic social vision-language navigation that keeps pedestrians and the robot active throughout inference and reports navigation success, social compliance, human collisions, and explicit staleness statistics. Across these settings, SPARK-VLN mproves navigation success and social compliance while sustaining inference efficiency. Webpage: https://hutslib.github.io/SPARK-VLN/.
- Abstract（参考訳）: 動的で人間中心の環境におけるビジョン・ランゲージ・ナビゲーションは、根本的な緊張を露呈する。言語推論は遅く、熟考的だが、安全で社会的に適合した計画は即時かつ反応性を持つべきである。
推論中に選択された操作は、実行時にすでに安全ではない可能性がある。
我々は、VLMが推論を終了するずっと前に、その中間の隠れ状態が行動関連意図を符号化していることを観察する。
本稿では,動的ソーシャルVLNのためのデュアルシステムフレームワークであるSPARK-VLNを提案する。
この設計はトークン生成プロセスに沿って中間的に隠れた状態を抽出するToken-Wise Hidden Streamer、それらを固定サイズの潜在スロットに投影するSequence-to-Slot Latent Bridge、エキスパートプランナーに注入するEvolving Latent Conditionerの3つのモジュールによって実現されている。
また、動的社会視覚言語ナビゲーションのための人間中心のベンチマークスイートを導入し、推論を通じて歩行者とロボットをアクティブに保ち、ナビゲーションの成功、社会的コンプライアンス、人間との衝突、明示的な安定度統計を報告します。
これらの設定全体で、SPARK-VLNは、推論効率を保ちながら、ナビゲーションの成功と社会的コンプライアンスを促進する。
Webページ: https://hutslib.github.io/SPARK-VLN/。
関連論文リスト
- S-squared-VLA: Decoupling Semantic and Spatial Streams in Vision-Language-Action Models for Autonomous Driving [8.813976817688605]
VLM(Vision-Language Models)は、自律運転における高レベルの推論に顕著な可能性を示している。
VLMは、個別の言語トークンと連続的な軌道計画のミスマッチによって、正確で低レベルな制御アクションを生成するのに苦労する。
本稿では,視覚・言語・行動モデルにおける意味的・空間的ストリームを明示的に分離するS-squared-VLAを提案する。
論文 参考訳（メタデータ） (2026-07-15T15:07:02Z) - OneVL: One-Step Latent Reasoning and Planning with Vision-Language Explanation [61.18260993245354]
Chain-of-Thought(CoT)推論は、VLAベースの自律運転において、軌道予測の強力なドライバである。
本稿では,2つの補助デコーダによって制御されるコンパクトな潜在トークンを通じて推論をルーティングする,統一VLAおよびワールドモデルフレームワークであるOneVLを提案する。
OneVLは、明示的なCoTを超える最初の遅延CoTメソッドとなり、応答のみのレイテンシで最先端の精度を提供する。
論文 参考訳（メタデータ） (2026-04-20T16:37:22Z) - OFlow: Injecting Object-Aware Temporal Flow Matching for Robust Robotic Manipulation [55.56490813640669]
VLAモデルは典型的には現在のフレームにのみ作用するが、将来の予測とオブジェクト認識推論は別々の潜在空間でしばしば学習される。
本稿では,時間的フォアシークエンスとオブジェクト認識推論を共通化することで,制約に対処するフレームワークOFlowを提案する。
提案手法は, 時間的フローマッチングを用いて将来の潜伏者を予測し, 物理的に関係のある手がかりを強調するオブジェクト認識表現に分解する。
論文 参考訳（メタデータ） (2026-04-20T06:38:01Z) - LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning [51.969318585152116]
LatentPilotは、トレーニング中の将来の観察を貴重なデータソースとして利用して、アクション条件付きビジュアルダイナミクスを学習する。
そこで本稿では,フライホイール方式のトレーニング機構を提案する。これは,道路上の軌道を反復的に収集し,エージェントの行動分布に適合するようにモデルを再訓練する。
R2R-CE、RxR-CE、R2R-PEベンチマークの実験では新たなSOTA結果が得られた。
論文 参考訳（メタデータ） (2026-03-31T02:21:59Z) - History-Conditioned Spatio-Temporal Visual Token Pruning for Efficient Vision-Language Navigation [18.716145266309802]
Vision-Language Navigation (LNV)は、ロボットが視覚的に接地された環境で自然言語の指示に従うことを可能にする。
近年のVision-Language-Action-Modelでは,ナビゲーション性能は高いが,リアルタイムデプロイメントを制限している計算遅延は大きい。
VLNベースのVLNに適した学習自由な視覚言語フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-06T17:03:16Z) - PROSPECT: Unified Streaming Vision-Language Navigation via Semantic--Spatial Fusion and Latent Predictive Representation [16.793561218827723]
マルチモーダル大言語モデル(MLLM)は、高度なゼロショット・エンド・エンド・エンド・ビジョン・ランゲージナビゲーション(VLN)を持つ。
本稿では,VLA (Stream Vision-Language-Action) ポリシーと潜在予測表現学習を組み合わせた統合型ストリーミングナビゲーションエージェント PROSPECT を提案する。
論文 参考訳（メタデータ） (2026-03-04T05:19:20Z) - Generative Scenario Rollouts for End-to-End Autonomous Driving [58.99809446189301]
VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転システムの高効率な計画モデルとして登場している。
本稿では,VLAモデルのためのプラグイン・アンド・プレイフレームワークであるGenerative Scenario Rollouts (GeRo)を提案する。
論文 参考訳（メタデータ） (2026-01-16T17:59:28Z) - ColaVLA: Leveraging Cognitive Latent Reasoning for Hierarchical Parallel Trajectory Planning in Autonomous Driving [44.008287454538596]
視覚言語モデル(VLM)は、クロスモーダルな先行とコモンセンス推論を導入することで、このパラダイムを豊かにする。
現在のVLMベースのプランナは、(i) 個別のテキスト推論と継続的制御のミスマッチ、(ii) 自己回帰的連鎖のデコーディングからの高い遅延、(iii) リアルタイムデプロイメントを制限する非効率または非因果的なプランナである。
テキストから潜在空間へ推論を転送し,それを階層的並列軌道デコーダで結合する統合視覚言語アクションフレームワークColaVLAを提案する。
論文 参考訳（メタデータ） (2025-12-28T14:06:37Z) - StreamAgent: Towards Anticipatory Agents for Streaming Video Understanding [52.55809460075286]
本稿では,今後のタスク関連情報を含むと思われる時間間隔と空間領域を予測できるStreamAgentを提案する。
我々は,重要な出来事の時間的進行を予測するために,予測エージェントに期待を促すことによって,質問の意味論と歴史的観察を統合する。
提案手法は,応答精度とリアルタイム効率において既存の手法よりも優れており,実世界のストリーミングシナリオの実用的価値を強調している。
論文 参考訳（メタデータ） (2025-08-03T18:15:42Z) - UnitedVLN: Generalizable Gaussian Splatting for Continuous Vision-Language Navigation [71.97405667493477]
我々は,UnitedVLNと呼ばれる,新しい汎用3DGSベースの事前学習パラダイムを導入する。
エージェントは、高忠実度360度ビジュアルイメージとセマンティック特徴を統一してレンダリングすることで、将来の環境をよりよく探索することができる。
UnitedVLNは既存のVLN-CEベンチマークで最先端の手法より優れている。
論文 参考訳（メタデータ） (2024-11-25T02:44:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。