論文の概要: Language-Conditioned World Modeling for Visual Navigation

• arxiv url: http://arxiv.org/abs/2603.26741v1
• Date: Mon, 23 Mar 2026 04:10:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.558915
• Title: Language-Conditioned World Modeling for Visual Navigation
• Title（参考訳）: ビジュアルナビゲーションのための言語記述型世界モデリング
• Authors: Yifei Dong, Fengyi Wu, Yilong Dai, Lingdong Kong, Guangyu Chen, Xu Zhu, Qiyu Hu, Tianyu Wang, Johnalbert Garnica, Feng Liu, Siyu Huang, Qi Dai, Zhi-Qi Cheng,
• Abstract要約: 本研究では,言語条件付き視覚ナビゲーション (LCVN) について検討する。 我々は,この問題を,言語指導に基づくオープンループ軌道予測として定式化する。 我々は,言語基盤,未来状態予測,行動生成をリンクするLCVNフレームワークを開発した。
• 参考スコア（独自算出の注目度）: 48.72354240617526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study language-conditioned visual navigation (LCVN), in which an embodied agent is asked to follow a natural language instruction based only on an initial egocentric observation. Without access to goal images, the agent must rely on language to shape its perception and continuous control, making the grounding problem particularly challenging. We formulate this problem as open-loop trajectory prediction conditioned on linguistic instructions and introduce the LCVN Dataset, a benchmark of 39,016 trajectories and 117,048 human-verified instructions that supports reproducible research across a range of environments and instruction styles. Using this dataset, we develop LCVN frameworks that link language grounding, future-state prediction, and action generation through two complementary model families. The first family combines LCVN-WM, a diffusion-based world model, with LCVN-AC, an actor-critic agent trained in the latent space of the world model. The second family, LCVN-Uni, adopts an autoregressive multimodal architecture that predicts both actions and future observations. Experiments show that these families offer different advantages: the former provides more temporally coherent rollouts, whereas the latter generalizes better to unseen environments. Taken together, these observations point to the value of jointly studying language grounding, imagination, and policy learning in a unified task setting, and LCVN provides a concrete basis for further investigation of language-conditioned world models. The code is available at https://github.com/F1y1113/LCVN.
• Abstract（参考訳）: 本研究では,言語条件付き視覚ナビゲーション (LCVN) について検討する。 目標画像へのアクセスがなければ、エージェントはその認識と継続的な制御を形成するために言語に頼らなければならない。 言語命令を条件としたオープンループ軌道予測としてこの問題を定式化し,39,016件のトラジェクトリと117,048件の人間認証命令のベンチマークであるLCVNデータセットを導入した。 このデータセットを用いて,2つの相補的モデルファミリを介し,言語基盤,未来状態予測,行動生成をリンクするLCVNフレームワークを開発する。 最初のファミリーは拡散ベースの世界モデルであるLCVN-WMと、世界モデルの潜伏空間で訓練されたアクター批判エージェントであるLCVN-ACを組み合わせたものである。 第2のファミリーであるLCVN-Uniは、行動と将来の観測の両方を予測する自動回帰型マルチモーダルアーキテクチャを採用している。 前者は時間的に一貫性のあるロールアウトを提供するが、後者は目に見えない環境をより一般化する。 これらの観察は、統合されたタスク設定において、言語基盤、想像、政策学習を共同で研究する価値を示し、LCVNは、言語条件付き世界モデルのさらなる研究のための具体的な基盤を提供する。 コードはhttps://github.com/F1y1113/LCVNで入手できる。

関連論文リスト

• A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus [71.77214818319054]
  自然言語推論は自然言語理解のプロキシである。 ルーマニア語のNLIコーパスは公開されていない。 58Kの訓練文対からなるルーマニア初のNLIコーパス(RoNLI)を紹介する。
  論文  参考訳（メタデータ） (2024-05-20T08:41:15Z)
• Learning to translate by learning to communicate [11.43638897327485]
  我々は,最新のunsupervised NMTシステムを改善するために,事前学習された多言語モデルを用いてEmergent Communication (EC)を使用する手法を定式化し,検証する。 提案手法では,多言語モデルを用いて視覚的なタスクを遂行するために,多言語世代をインセンティブとしたEC画像参照ゲームに,多言語モデルを組み込む。 本報告では,2種類のECファインチューニング(Steinert-Threlkeld et al., 2022)について述べる。
  論文  参考訳（メタデータ） (2022-07-14T15:58:06Z)
• ZmBART: An Unsupervised Cross-lingual Transfer Framework for Language Generation [4.874780144224057]
  自然言語生成のための言語間移動は、比較的研究が進められている。 NLGの4つのタスク(テキスト要約、質問生成、ニュース見出し生成、イントラクタ生成)と3つの構文的に多様な言語について検討する。 並列あるいは擬似並列/バックトランスレートデータを使用しない教師なし言語間言語生成フレームワーク(ZmBART)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T05:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。