論文の概要: Affordance-Conditioned Decision Making: Bridging the Semantic-Spatial Gap in Zero-Shot Cross-Floor Vision-and-Language Navigation
- arxiv url: http://arxiv.org/abs/2609.32292v2
- Date: Tue, 29 Sep 2026 01:34:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.588396
- Title: Affordance-Conditioned Decision Making: Bridging the Semantic-Spatial Gap in Zero-Shot Cross-Floor Vision-and-Language Navigation
- Title（参考訳）: 積極的空間ギャップを埋めるゼロショットクロスフロア・ビジョン・ランゲージナビゲーション
- Abstract要約: PACEは教師付きローカル実行モジュールで、信頼性の高いクロスフロアナビゲーションのためのフリーズゼロショットセマンティックプランナーを拡張している。
PACEはトランジッション関連のセマンティクスを、長い水平でエージェント中心の可読なポーズに基礎を置いている。
我々はR2R-CEとRxR-CEのクロスフロア部分集合に対する一貫した改善を示し、平均成功率は16.35%から27.65%に増加した。
- 参考スコア（独自算出の注目度）: 20.993875825111093
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-and-language navigation increasingly relies on general-purpose semantic planners, yet translating correct high-level intent into reliable physical execution remains difficult in spatially constrained transitions. Reaching a staircase, doorway, or narrow passage does not ensure traversal; the agent must identify an executable affordance pose and recover from accumulated action errors. We propose PACE (Preference-refined Affordance-Conditioned Execution), a supervised local execution module that augments frozen zero-shot semantic planners for reliable cross-floor navigation. PACE grounds transition-related semantics into a long-horizon, agent-centric traversable affordance pose and conditions short-horizon action generation on this spatial target, thereby aligning semantic goals with physical execution. We further post-train PACE through failure-aware preference refinement using rollout-derived pairs that contrast normal or recovery behaviors with deviation-amplifying behaviors, thereby improving closed-loop correction. We integrate PACE into six open-source zero-shot VLN navigators and demonstrate consistent improvements on the cross-floor subsets of R2R-CE and RxR-CE, increasing the average success rate from 16.35% to 27.65% and from 4.76% to 12.06%, respectively. Real-world experiments further demonstrate PACE's applicability in unseen environments, highlighting the potential of traversable affordances to bridge semantic intent and reliable embodied behavior.
- Abstract（参考訳）: 視覚と言語のナビゲーションは、汎用的なセマンティックプランナーにますます依存しているが、空間的に制約された遷移において、信頼性の高い物理的実行への正しい高レベルな意図の翻訳は難しいままである。
階段、戸口、狭い通路の確保はトラバーサルを保証しない。エージェントは実行可能な余裕のポーズを特定し、蓄積したアクションエラーから回復しなければならない。
PACE(Preference-refined Affordance-Conditioned Execution)は,ゼロショット・セマンティック・プランナを改良し,信頼性の高いクロスフロアナビゲーションを実現する。
PACEは、遷移関連セマンティックスを、長い水平、エージェント中心のトラベル可能な価格ポーズと、この空間的ターゲット上での短水平アクション生成条件に基礎を置いて、セマンティックゴールを物理的実行と整合させる。
我々は、通常または回復動作と偏差増幅動作とを対比したロールアウト由来のペアを用いて、障害認識の優先改善を通じてPACEをさらに後処理し、クローズループ補正を改善する。
PACEを6つのオープンソースゼロショットVLNナビゲータに統合し、R2R-CEとRxR-CEのクロスフロアサブセットを一貫して改善し、平均成功率は16.35%から27.65%に、それぞれ4.76%から12.06%に増加した。
実世界の実験は、PACEが目に見えない環境で適用可能であることをさらに示し、セマンティックな意図と信頼性のある実施行動の橋渡しに、トラバーサブルな余裕の可能性を浮き彫りにしている。
関連論文リスト
- Learning Adaptive Safety Margins for Visual Navigation [10.650323979444982]
拡散に基づくプランナーは、エゴセントリックなRGB-Dから様々な軌道候補を提案するが、信頼性のある選択がボトルネックのままである。
本稿では,文脈条件付き安全評論家に対して,ランキング拡散提案に対する適応的クリアランス選好を学習する手法を提案する。
本研究では,ESDF 幾何学をシミュレーションで訓練し,それを2段階の教師学生の指導により,認識のみのセレクタに蒸留する。
論文 参考訳（メタデータ） (2026-07-20T17:40:25Z) - DeSeG: Decoupling Semantic Intent and Geometric Constraints for Physically Plausible Human-Scene Interaction [50.06148080975928]
本稿では,意味的意図を幾何学的制約から明確に分離する階層型フレームワークであるDeSeGを提案する。
DeSeGは最先端のパフォーマンスを実現し、平均シーン浸透率を47%削減し、SOTAベースラインに対するセマンティックアライメントを29%改善した。
論文 参考訳（メタデータ） (2026-07-07T03:21:08Z) - ExTra: Exploratory Trajectory Optimization for Language Model Reinforcement Learning [75.26064451955199]
ExTraは、モデル自身のロールアウトから探索信号を抽出するフレームワークである。
GRPO上でQwen3-1.7Bをpass@1で約5ポイント、pass@16で+7ポイント改善する。
論文 参考訳（メタデータ） (2026-06-23T15:51:39Z) - TARIC: Memory-Augmented Traversability-Aware Outdoor VLN under Interrupted Semantic Cues [2.9521757117513823]
長期のオープンワールド環境における視覚言語ナビゲーション(VLN)は、セマンティックキューの中断によってしばしば中断される。
トラバーサビリティに一貫性のある実行時ガイダンスを維持することにより,セマンティックキューの中断に耐えられる,統一された屋外VLNフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-29T10:30:36Z) - Beyond Waypoints: Dual-Heatmap Grounding for Cross-Embodiment Semantic Navigation [13.081539889943906]
本研究では,FOV内セマンティックナビゲーションの実践的な設定に焦点を当てる。
本稿では,Dual-Heatmap表現に有利な単一点回帰を放棄する統合ビジョン・ランゲージフレームワークを提案する。
本フレームワークは,8Bベースライン間の最先端性能を実現する。
論文 参考訳（メタデータ） (2026-05-19T06:12:59Z) - AnchorRefine: Synergy-Manipulation Based on Trajectory Anchor and Residual Refinement for Vision-Language-Action Models [60.04879435087352]
視覚言語アクション(VLA)ポリシーは、単一の統一空間内でアクションを生成する。
本稿では,VLAの動作モデリングを軌跡アンカーと残留精細化に分解する階層的フレームワークであるAnchorRefineを提案する。
LIBERO、CALVIN、および実ロボットタスクの実験では、AnchorRefineは回帰ベースと拡散ベースの両方のVLAバックボーンを一貫して改善している。
論文 参考訳（メタデータ） (2026-04-20T04:25:24Z) - CLaD: Planning with Grounded Foresight via Cross-Modal Latent Dynamics [25.518388341069492]
CLaDは,行動下での受容的状態と意味的状態の共進化をモデル化するフレームワークである。
CLaDは、EMAターゲットエンコーダと補助的な再構成損失による自己監督目標により、接地された潜伏監視を予測する。
LIBERO-LONGベンチマークでは、CLaDは94.7%の成功率を達成した。
論文 参考訳（メタデータ） (2026-03-31T08:13:45Z) - STRIDER: Navigation via Instruction-Aligned Structural Decision Space Optimization [73.98141357780032]
VLN-CEタスクでは、エージェントはシーン固有のトレーニングなしで自然言語命令を使用して3D環境をナビゲートする必要がある。
既存の方法は、構造化された意思決定の欠如と、以前の行動からのフィードバックの不十分な統合のために、堅牢なナビゲーションを達成できないことが多い。
STRIDERは,空間配置先と動的タスクフィードバックを統合し,エージェントの決定空間を体系的に最適化する新しいフレームワークである。
提案手法では,1)空間構造を介して行動空間を制約する構造的ウェイポイントジェネレータ,2)タスクの進行に応じて行動を調整するタスク調整レギュレータ,そしてナビゲーション全体を通して意味的アライメントを確保する。
論文 参考訳（メタデータ） (2025-10-27T04:37:21Z) - DAgger Diffusion Navigation: DAgger Boosted Diffusion Policy for Vision-Language Navigation [73.80968452950854]
Vision-Language Navigation in Continuous Environments (VLN-CE) は、エージェントが自由形式の3D空間を通して自然言語の指示に従う必要がある。
既存のVLN-CEアプローチは通常、2段階のウェイポイント計画フレームワークを使用する。
本稿では,エンドツーエンド最適化VLN-CEポリシとしてDAgger Diffusion Navigation (DifNav)を提案する。
論文 参考訳（メタデータ） (2025-08-13T02:51:43Z) - Towards Deviation-Robust Agent Navigation via Perturbation-Aware
Contrastive Learning [125.61772424068903]
視覚言語ナビゲーション(VLN)は、エージェントに与えられた言語命令に従って実際の3D環境をナビゲートするように要求する。
本稿では,既存のVLNエージェントの一般化能力を高めるために,PROPER(Progressive Perturbation-aware Contrastive Learning)と呼ばれるモデルに依存しない学習パラダイムを提案する。
論文 参考訳（メタデータ） (2024-03-09T02:34:13Z) - Bridging the Gap Between Learning in Discrete and Continuous
Environments for Vision-and-Language Navigation [41.334731014665316]
ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)における既存の作業のほとんどは、離散的または連続的な環境に焦点を当てている。
ナビゲーション中に候補となるウェイポイントの集合を生成するための予測器を提案する。
予測された経路点を持つ連続環境を航行するエージェントは,低レベル動作を使用するエージェントよりも有意に優れた性能を示す。
論文 参考訳（メタデータ） (2022-03-05T14:56:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。