論文の概要: Revisiting Topological Graphs for Macro Action based Closed-loop Reinforcement Learning of Vision Language Navigation in Continuous Environment
- arxiv url: http://arxiv.org/abs/2609.03906v1
- Date: Thu, 03 Sep 2026 14:24:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.103736
- Title: Revisiting Topological Graphs for Macro Action based Closed-loop Reinforcement Learning of Vision Language Navigation in Continuous Environment
- Title（参考訳）: マクロ行動に基づく閉ループ強化学習のためのトポロジカルグラフの再検討
- Abstract要約: VLN-CE (Vision-Language Navigation in Continuous Environments) は、エージェントが見えない環境を通して自然言語の指示に従う必要がある。
我々は、VLN-CEを階層的マルコフ決定プロセス(MDP)として再構成し、低レベル制御から高レベル計画を明確に分離する。
本モデルはR2R-CEベンチマークとRxR-CEベンチマークの最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 24.27274618177781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Navigation in Continuous Environments (VLN-CE) requires an agent to follow natural language instructions through unseen environments. Existing imitation learning (IL) pipelines struggle in this closed-loop setting: behavior cloning suffers from distribution shift, and DAgger's expert actions become ambiguous upon trajectory deviation. While Reinforcement Learning (RL) offers a natural paradigm to address this, directly applying RL to micro action spaces is sample-inefficient due to reward sparsity. To overcome this bottleneck, we reformulate VLN-CE as a Hierarchical Markov Decision Process (MDP), explicitly decoupling high-level planning from low-level control. By abstracting the environment into a topological graph, our high-level policy operates on a macro action space of frontier nodes, with a training-free low-level controller acting as its state transition, which significantly compresses the decision horizon and makes closed-loop RL tractable. To support RL optimization on the macro MDP, we propose an action-aware value head to effectively evaluate state values under the dynamic frontier action space, powering a graph-based PPO. Extensive experiments demonstrate the effectiveness of our architecture. Finally, our model achieves state-of-the-art performance on the R2R-CE and RxR-CE benchmarks.
- Abstract（参考訳）: VLN-CE (Vision-Language Navigation in Continuous Environments) は、エージェントが見えない環境を通して自然言語の指示に従う必要がある。
既存の模倣学習(IL)パイプラインはこのクローズドループ環境で苦労している: 行動クローンは分布シフトに悩まされ、ダガーの専門的な行動は軌道偏差によって曖昧になる。
Reinforcement Learning (RL)はこれに対処するための自然なパラダイムを提供するが、マイクロアクション空間に直接RLを適用することは、報酬の間隔のため、サンプル非効率である。
このボトルネックを克服するため、我々はVLN-CEを階層マルコフ決定プロセス(MDP)として再構成し、低レベル制御から高レベル計画を明確に分離する。
環境をトポロジグラフに抽象化することにより,フロンティアノードのマクロアクション空間上で,トレーニング不要な低レベルコントローラを状態遷移として動作させ,決定の地平線を著しく圧縮し,閉ループRLをトラクタブルにする。
マクロMDP上でのRL最適化を支援するために,動的フロンティア動作空間における状態値を効果的に評価し,グラフベースのPPOを駆動するアクション認識値ヘッドを提案する。
大規模な実験はアーキテクチャの有効性を実証します。
最後に,R2R-CEベンチマークとRxR-CEベンチマークを用いて,最先端の性能を実現する。
関連論文リスト
- VGFM: Expressive Robot Policies via Dense Value Guidance in Flow Matching [2.7429630700600893]
本稿では,フローベースのポリシ内で高密度な値誘導型シェーピングを可能にする,スケーラブルなオフラインRLフレームワークを提案する。
VGFMは、アクション(x-述語)空間における条件付きフローマッチングモデルとしてポリシーをパラメータ化する。
本稿では,厳密な評価プロトコルの下で,VGFMが幅広いタスクに対して高い性能を実現することを示す。
論文 参考訳（メタデータ） (2026-09-13T03:50:52Z) - dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models [49.497309561043004]
我々は,学習目標を限界行動確率からサンプル生成経路の結合確率にシフトするtextbfdVLA-RLを提案する。
本手法は, LIBEROにおける textbf99.7% の成功率を達成する。
また、SFTベースラインに対してtextbf30.6%の改善を提供することで、RoboTwin 2.0上でのVLAベースの強力な結果も確立している。
論文 参考訳（メタデータ） (2026-06-22T17:19:03Z) - AnchorRefine: Synergy-Manipulation Based on Trajectory Anchor and Residual Refinement for Vision-Language-Action Models [60.04879435087352]
視覚言語アクション(VLA)ポリシーは、単一の統一空間内でアクションを生成する。
本稿では,VLAの動作モデリングを軌跡アンカーと残留精細化に分解する階層的フレームワークであるAnchorRefineを提案する。
LIBERO、CALVIN、および実ロボットタスクの実験では、AnchorRefineは回帰ベースと拡散ベースの両方のVLAバックボーンを一貫して改善している。
論文 参考訳（メタデータ） (2026-04-20T04:25:24Z) - Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning [10.729712481687628]
オフラインゴール条件強化学習(オフラインゴール条件強化学習、英: offline goal-conditioned reinforcement learning、GCRL)は、ゴール条件付きポリシーを報酬のないオフラインデータから学習することを目的とした実践的な強化学習パラダイムである。
本稿では, 平均流速場を階層的ポリシーモデリングに導入する, 目標条件付き平均流路ポリシーを提案する。
提案手法は,OGBenchベンチマークにおいて,状態ベースと画素ベースの両方のタスクに対して高い性能を実現することを示す。
論文 参考訳（メタデータ） (2026-04-10T05:04:29Z) - ETP-R1: Evolving Topological Planning with Reinforcement Fine-tuning for Vision-Language Navigation in Continuous Environments [24.809501651450223]
VLN-CE(Vision-Language Navigation in Continuous Environments)は、連続環境においてターゲットに向かって移動するために、エンボディエージェントを必要とする。
現在のグラフベースの手法は、環境をトポロジマップに抽象化し、アクション空間をウェイポイント選択に単純化することで、効率的で構造化されたアプローチを提供する。
グラフベースのVLN-CEモデルにデータスケーリングと強化ファインチューニング(RFT)のパラダイムを適用するフレームワークであるETP-R1を紹介する。
論文 参考訳（メタデータ） (2025-12-24T04:53:03Z) - Scalable Decision-Making in Stochastic Environments through Learned Temporal Abstraction [7.918703013303246]
我々は,高次元連続行動空間における決定を学習する上での課題に対処する潜在マクロ行動プランナー(L-MAP)を提案する。
L-MAPは状態条件ベクトル量子変分オートエンコーダ(VQ-VAE)を通して時間的に拡張されたマクロアクションの集合を学習する
連続制御タスクを含むオフラインRL設定では、L-MAPは離散潜在アクションを効率よく探索し、高い期待値が得られる。
論文 参考訳（メタデータ） (2025-02-28T16:02:23Z) - Vision-Language Navigation with Energy-Based Policy [66.04379819772764]
視覚言語ナビゲーション(VLN)は、人間の指示に従って行動を実行するエージェントを必要とする。
共同状態-行動分布をモデル化するためのエネルギーベースナビゲーションポリシー(ENP)を提案する。
ENPはR2R、REVERIE、RxR、R2R-CEで有望なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-18T08:01:36Z) - Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
論文 参考訳（メタデータ） (2024-02-09T07:45:26Z) - Action-Quantized Offline Reinforcement Learning for Robotic Skill
Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。
本稿では,アクション量子化のための適応型スキームを提案する。
IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-10-18T06:07:10Z) - Modular Deep Reinforcement Learning for Continuous Motion Planning with
Temporal Logic [59.94347858883343]
本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。
LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。
モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
論文 参考訳（メタデータ） (2021-02-24T01:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。