論文の概要: PGN: Design and Implementation of a Vision-Language Navigation System Based on Pangu Multimodal Foundation Model
- arxiv url: http://arxiv.org/abs/2607.17806v1
- Date: Mon, 20 Jul 2026 10:48:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.595714
- Title: PGN: Design and Implementation of a Vision-Language Navigation System Based on Pangu Multimodal Foundation Model
- Title（参考訳）: PGN:Pangu Multimodal Foundation Modelに基づく視覚言語ナビゲーションシステムの設計と実装
- Abstract要約: Vision-Language Navigation (VLN) は、自然な計算命令を解釈し、時間的に順序付けられた視覚的観察から行動を予測するために、具体的エージェントを必要とする。
本報告では,OpenPangu-7B上に構築されたオフラインVLN動作予測システムであるPGN(Pangu Navigator)について述べる。
- 参考スコア（独自算出の注目度）: 10.02560644098367
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language Navigation (VLN) requires an embodied agent to interpret a natural-language instruction and predict actions from temporally ordered visual observations. Adapting a multimodal large language model to VLN requires visual-language alignment, compact temporal inputs, action-space grounding, and stable training on the target hardware. This technical report presents PGN (Pangu Navigator), an offline VLN action-prediction system built on OpenPangu-7B. Training proceeds in two stages. First, PGMM aligns a frozen EVA-ViT-G/14 vision encoder with the frozen language backbone by training a Q-Former and a two-layer MLP projector. Second, PGN adapts the aligned model to expert navigation trajectories using five-observation windows, epoch-dependent temporal sampling, and a reasoning-then-action output format; this stage freezes the aligned visual pathway and updates three structural-token embeddings and LoRA adapters. The implementation combines mixed-precision computation, selective FP32 computation, and DeepSpeed ZeRO-2 on eight Ascend 910B NPUs. Under teacher-forced, open-loop evaluation on 500 held-out expert trajectories, V9 reports a 62.29% Normalized Action Match (NAM) and a 100.00% Non-empty Rate (NER). These metrics quantify offline expert-action alignment rather than closed-loop navigation success; evaluating error accumulation, path efficiency, and goal completion remains future work.
- Abstract（参考訳）: Vision-Language Navigation (VLN) は、自然言語の命令を解釈し、時間的に順序付けられた視覚的観察から行動を予測するために、具体的エージェントを必要とする。
マルチモーダルな大言語モデルをVLNに適応するには、視覚言語アライメント、コンパクトな時間入力、アクションスペースグラウンド、ターゲットハードウェアでの安定したトレーニングが必要である。
本技術報告では,OpenPangu-7B上に構築されたオフラインVLN動作予測システムであるPGN(Pangu Navigator)について述べる。
訓練は2段階で行われる。
まず、PGMMは、Q-Formerと2層MLPプロジェクタを訓練することにより、凍結したEVA-ViT-G/14ビジョンエンコーダと凍結した言語バックボーンを整列する。
第2に、PGNは、5つの観測窓、エポックに依存した時間的サンプリング、および論理的アクション出力フォーマットを使用して、アライメントされたナビゲーショントラジェクトリにアライメントモデルを適用し、アライメントされた視覚経路を凍結し、3つの構造的トーケン埋め込みとLoRAアダプタを更新する。
この実装は8台のAscend 910B NPU上での混合精度計算、選択的FP32計算、DeepSpeed ZeRO-2を組み合わせたものである。
教師による500の保持された専門家軌道に対するオープンループ評価では、V9は62.29%の正規化アクションマッチ(NAM)と100.00%の非空率(NER)を報告している。
これらのメトリクスは、クローズドループナビゲーションの成功ではなく、オフラインのエキスパート-アクションアライメントを定量化します。
関連論文リスト
- FSD-VLN: Fast-Slow Dual-System Modeling for Aerial Long-Horizon Vision-Language Navigation [33.92221208368759]
Vision-Language Navigation (VLN)は、言語命令をリアルタイムの視覚入力にマッピングすることで、未知の環境での自律的なナビゲーションである。
既存の方法は、グローバルマルチモーダル理解とシーケンシャルアクション生成の間の構造的不整合に悩まされている。
FSD-VLNは,セマンティック推論と低高度飛行コマンド生成を混在させる高速なデュアルシステムアーキテクチャである。
論文 参考訳（メタデータ） (2026-07-09T11:17:04Z) - LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence [107.63317552620231]
LLaVA-OneVision-2(LLaVA-OV-2)について述べる。
幅広いマルチモーダルベンチマークで優れたパフォーマンスを実現している。
際立った能力は、ビデオ理解、時間的接地、空間的接地、操作言語推論にまたがる統一的な認識である。
論文 参考訳（メタデータ） (2026-05-25T15:54:04Z) - AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation [78.80536515102305]
VLN(Vision-and-Language Navigation)は、エージェントが視覚環境内の自身の動きに言語命令を接地する必要がある。
本稿では,ナビゲーションモデルに自己認識推論機構を備えた新しいフレームワークであるAwareVLNを提案する。
提案手法は,(1)空間的およびタスク指向の自己認識を促進する構造的推論モジュール,(2)効果的な学習のための進歩分担付き自動データエンジンの2つの重要な革新を特徴とする。
論文 参考訳（メタデータ） (2026-05-21T17:58:26Z) - VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models [80.1055544841585]
ビジョン・ランゲージ・アクションモデルは通常、視覚観察と言語指示を直接ロボット制御信号にマッピングする。
本稿では,高レベルの推論と低レベルの実行を,構造化された視覚的プロンプトインタフェースを介して分離する,デュアルシステムフレームワークであるVP-VLAを提案する。
Robocasa-GR1-TabletopベンチマークとSimplerEnvシミュレーションの実験は、VP-VLAが成功率を5%と8.3%改善することを示した。
論文 参考訳（メタデータ） (2026-03-23T14:08:58Z) - AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。
本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
論文 参考訳（メタデータ） (2026-03-18T12:43:47Z) - CoFL: Continuous Flow Fields for Language-Conditioned Navigation [14.35468089349405]
CoFLは、鳥眼ビュー(BEV)観察と言語指導をナビゲーションのための連続フローフィールドにマッピングするエンドツーエンドのポリシーである。
混合分布の訓練により、CoFLはモジュラービジョン・ランゲージ・モデル(VLM)ベースのプランナーよりも大幅に優れている。
論文 参考訳（メタデータ） (2026-03-03T11:02:55Z) - AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild [62.47761809929869]
視覚言語ナビゲーション(VLN)は、視覚的観察とともに言語指示を解釈することで、知的エージェントが環境をナビゲートする必要がある。
無人航空機(UAV)の現在のVLN研究は、所定のルートに沿ってUAVを誘導するための詳細な指示に依存している。
本稿では,自律型UAVナビゲーションのためのエンド・ツー・エンドのビジョン・ランゲージ・アクションモデルであるAutoFlyを提案する。
論文 参考訳（メタデータ） (2026-02-10T11:08:07Z) - SeeNav-Agent: Enhancing Vision-Language Navigation with Visual Prompt and Step-Level Policy Optimization [32.785475974900244]
既存のVision-Language Navigation (VLN)エージェントは、しばしば認識エラー、推論エラー、計画エラーに悩まされる。
これらの制限に対処するため、SeeNav-Agentという新しいVLNエージェントフレームワークが提案されている。
Step Reward Group Policy Optimization (SRGPO) は、VLNエージェントのポストトレーニング用に設計されている。
論文 参考訳（メタデータ） (2025-12-02T10:40:46Z) - VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning [77.34267241692706]
Vision-Language Navigation(VLN)は、エージェントが自然言語命令を使用して現実世界の環境をナビゲートする必要がある、AIの実施における中核的な課題である。
本稿では、LVLM(Large Vision-Language Models)を利用して、エゴセントリックな動画ストリームを連続的なナビゲーションアクションに変換するエンドツーエンドフレームワークであるVLN-R1を提案する。
論文 参考訳（メタデータ） (2025-06-20T17:59:59Z) - Reinforced Structured State-Evolution for Vision-Language Navigation [42.46176089721314]
ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)タスクは、自然言語の指示に従って遠隔地へ移動するための実施エージェントを必要とする。
従来の手法は通常、シークエンスモデル(TransformerやLSTMなど)をナビゲータとして採用していた。
本稿では,VLNの環境レイアウトの手がかりを効果的に維持するために,構造化状態進化(SEvol)モデルを提案する。
論文 参考訳（メタデータ） (2022-04-20T07:51:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。