論文の概要: SimpleVLN: Towards Simple and Frontier Vision-Language Navigation
- arxiv url: http://arxiv.org/abs/2610.23203v1
- Date: Fri, 16 Oct 2026 09:41:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.855915
- Title: SimpleVLN: Towards Simple and Frontier Vision-Language Navigation
- Title(参考訳): SimpleVLN: シンプルでフロンティアなビジョンランゲージナビゲーションを目指して
- Abstract要約: 視覚・言語ナビゲーションのためのアーキテクチャ保存フレームワークSimpleVLNを提案する。
我々は,SimpleVLNがR2R-CEとRxR-CEの分割で76.7%,80.1%の成功率を達成したことを示す。
これらの結果から,ネイティブMLLMのナビゲーション機能をタスク固有のアーキテクチャ設計なしで効果的にアンロックできることが示唆された。
- 参考スコア(独自算出の注目度): 46.797383308596494
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-and-Language Navigation (VLN) requires embodied agents to ground language in visual observations and make long-horizon decisions. Existing methods often address these demands through task-specific architectures. As multimodal large language models (MLLMs) become increasingly capable, an important question remains: Have we truly unlocked the potential of native MLLMs for VLN before introducing task-specific architecture? We present SimpleVLN, an architecture-preserving framework developed through studies of navigation formulation, data construction, and optimization. At the formulation level, SimpleVLN combines single-turn decision inputs with fixed-budget global-local memory to efficiently use navigation history without unbounded context growth, while action chunks enable efficient output of multiple primitive actions per model invocation. For data construction, we combine expert demonstrations with policy-dependent DAgger experience and develop a scalable synthesis pipeline that generates large-scale tasks for reinforcement learning. At the optimization level, a progressive IL-DAgger-RL pipeline advances from action imitation to task-level outcome optimization. Comprehensive experiments validate the effectiveness of these three aspects. We instantiate SimpleVLN across multiple MLLM backbones and model sizes, demonstrating its generality. SimpleVLN achieves 76.7% and 80.1% success rates on the R2R-CE and RxR-CE splits, respectively, substantially outperforming existing methods. These results show that the navigation capabilities of native MLLMs can be effectively unlocked without task-specific architectural designs.
- Abstract(参考訳): VLN(Vision-and-Language Navigation)は、視覚的な観察や長期の意思決定を行うために、具体化されたエージェントを接地言語に要求する。
既存の手法はしばしばタスク固有のアーキテクチャを通してこれらの要求に対処する。
タスク固有のアーキテクチャを導入する前に、私たちはVLNのネイティブMLLMの可能性を本当に解放しましたか?
本稿では,ナビゲーションの定式化,データ構築,最適化などを通じて構築されたアーキテクチャ保存フレームワークSimpleVLNを提案する。
定式化レベルでは、SimpleVLNは単一ターン決定入力と固定予算のグローバルローカルメモリを組み合わせて、境界のないコンテキスト成長なしにナビゲーション履歴を効率的に利用し、アクションチャンクはモデル呼び出し毎に複数のプリミティブアクションを効率的に出力する。
データ構築のためには、専門家によるデモンストレーションと政策に依存したDAggerの経験を組み合わせるとともに、強化学習のための大規模タスクを生成するスケーラブルな合成パイプラインを開発する。
最適化レベルでは、プログレッシブIL-DAgger-RLパイプラインがアクション模倣からタスクレベルの結果最適化へと前進する。
総合的な実験はこれらの3つの側面の有効性を検証する。
複数のMLLMバックボーンとモデルサイズでSimpleVLNをインスタンス化し、その汎用性を実証する。
SimpleVLNは、それぞれR2R-CEとRxR-CEの分割で76.7%と80.1%の成功率を達成した。
これらの結果から,ネイティブMLLMのナビゲーション機能をタスク固有のアーキテクチャ設計なしで効果的にアンロックできることが示唆された。
関連論文リスト
- From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion [91.35078719566472]
VLM(Vision-Language Models)は、粗い非対称接続を使用することで、深刻な視覚的特徴のボトルネックを生み出す。
CLI(Cross-Layer Injection)は,2つのモダリティの間に動的に多対多の橋を架ける,斬新で軽量なフレームワークである。
論文 参考訳(メタデータ) (2026-01-15T18:59:10Z) - VLN-MME: Diagnosing MLLMs as Language-guided Visual Navigation agents [12.383467162169703]
ゼロショットエージェントとしてMLLMを探索するための統一的評価フレームワークを提案する。
高度にモジュール化されたアクセシブルな設計で評価を単純化する。
我々は,CoT推論と自己言語によるベースラインエージェントの強化が,予期せぬ性能低下につながることを観察した。
論文 参考訳(メタデータ) (2025-12-31T13:21:21Z) - NaViL: Rethinking Scaling Properties of Native Multimodal Large Language Models under Data Constraints [100.02131897927484]
本稿では,Multimodal Large Language Models(MLLM)のエンドツーエンドなネイティブトレーニングに焦点を当てる。
そこで我々は,NaViLと呼ばれるネイティブMLLMと,シンプルで費用対効果の高いレシピを組み合わせて提案する。
14のマルチモーダルベンチマークによる実験結果から,既存のMLLMに対するNaViLの競合性能が確認された。
論文 参考訳(メタデータ) (2025-10-09T17:59:37Z) - SEKI: Self-Evolution and Knowledge Inspiration based Neural Architecture Search via Large Language Models [11.670056503731905]
本稿では,新しい大規模言語モデル (LLM) に基づくニューラルアーキテクチャ探索 (NAS) 手法であるSEKIを紹介する。
現代のLLMにおけるチェーン・オブ・シント(CoT)パラダイムにインスパイアされたセキは、自己進化と知識蒸留という2つの重要な段階で動作している。
論文 参考訳(メタデータ) (2025-02-27T09:17:49Z) - NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。
トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。
我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
論文 参考訳(メタデータ) (2024-09-17T17:59:06Z) - FLAME: Learning to Navigate with Multimodal LLM in Urban Environments [12.428873051106702]
大規模言語モデル(LLM)は視覚・言語ナビゲーション(VLN)タスクの可能性を実証している。
LLMは専門的なナビゲーションタスクに苦労し、専門的なVLNモデルと比較すると、最適以下の性能が得られる。
本稿では,都市VLNタスク用に設計された新しいマルチモーダルLLMエージェントとアーキテクチャであるFLAMEを紹介する。
論文 参考訳(メタデータ) (2024-08-20T17:57:46Z) - Generative Multimodal Entity Linking [24.322540112710918]
MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。
既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。
大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。
当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
論文 参考訳(メタデータ) (2023-06-22T07:57:19Z) - LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset,
Framework, and Benchmark [81.42376626294812]
本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。
我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。
本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
論文 参考訳(メタデータ) (2023-06-11T14:01:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。