論文の概要: Weakly-supervised VLM-guided Partial Contrastive Learning for Visual Language Navigation

• arxiv url: http://arxiv.org/abs/2506.15757v1
• Date: Wed, 18 Jun 2025 11:43:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.769083
• Title: Weakly-supervised VLM-guided Partial Contrastive Learning for Visual Language Navigation
• Title（参考訳）: 視覚言語ナビゲーションのための弱教師付きVLM誘導部分コントラスト学習
• Authors: Ruoyu Wang, Tong Yu, Junda Wu, Yao Liu, Julian McAuley, Lina Yao,
• Abstract要約: ビジュアル言語ナビゲーション(VLN)は、エージェントが自然言語命令に基づいて複雑な環境をナビゲートできることに焦点を当てた、Embodied AIの分野における基本的なタスクである。 既存の手法は、VLNシナリオの動的視点と競合する視覚知覚のための事前訓練されたバックボーンモデルに依存している。 Weakly-supervised partial Contrastive Learning (WPCL) は, VLMの微調整を必要とせずに, VLNシナリオの動的視点からオブジェクトを識別する能力を高める手法である。
• 参考スコア（独自算出の注目度）: 36.17444261325021
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual Language Navigation (VLN) is a fundamental task within the field of Embodied AI, focusing on the ability of agents to navigate complex environments based on natural language instructions. Despite the progress made by existing methods, these methods often present some common challenges. First, they rely on pre-trained backbone models for visual perception, which struggle with the dynamic viewpoints in VLN scenarios. Second, the performance is limited when using pre-trained LLMs or VLMs without fine-tuning, due to the absence of VLN domain knowledge. Third, while fine-tuning LLMs and VLMs can improve results, their computational costs are higher than those without fine-tuning. To address these limitations, we propose Weakly-supervised Partial Contrastive Learning (WPCL), a method that enhances an agent's ability to identify objects from dynamic viewpoints in VLN scenarios by effectively integrating pre-trained VLM knowledge into the perception process, without requiring VLM fine-tuning. Our method enhances the agent's ability to interpret and respond to environmental cues while ensuring computational efficiency. Experimental results have shown that our method outperforms the baseline methods on multiple benchmarks, which validate the effectiveness, robustness and generalizability of our method.
• Abstract（参考訳）: ビジュアル言語ナビゲーション(VLN)は、エージェントが自然言語命令に基づいて複雑な環境をナビゲートできることに焦点を当てた、Embodied AIの分野における基本的なタスクである。 既存の手法の進歩にもかかわらず、これらの手法はしばしば共通の課題を提起する。 まず、VLNシナリオのダイナミックな視点に苦しむ視覚知覚のために、トレーニング済みのバックボーンモデルに頼っている。 第2に、VLNドメイン知識の欠如により、微調整なしで事前訓練されたLLMやVLMを使用する場合のパフォーマンスが制限される。 第三に、微調整LDMとVLMは結果を改善することができるが、その計算コストは微調整のないものよりも高い。 これらの制約に対処するために、VLMの微調整を必要とせず、学習済みのVLM知識を知覚プロセスに効果的に統合することにより、VLNシナリオの動的視点からオブジェクトを識別する能力を高める方法であるWakly-supervised partial Contrastive Learning (WPCL)を提案する。 本手法は, 計算効率を確保しつつ, 環境条件を解釈し, 応答するエージェントの能力を高める。 実験により, 本手法の有効性, 堅牢性, 一般化性を検証した複数のベンチマークにおいて, ベースライン法よりも優れた性能を示した。

関連論文リスト

• VLM Can Be a Good Assistant: Enhancing Embodied Visual Tracking with Self-Improving Vision-Language Models [34.60772103760521]
  視覚言語モデル(VLM)を用いた身体的視覚追跡(EVT)を強化する新しいフレームワークを提案する。 この研究は、EVTエージェントのアクティブ障害回復を支援するVLMベースの推論の最初の統合である。
  論文  参考訳（メタデータ） (2025-05-27T04:53:50Z)
• EMAC+: Embodied Multimodal Agent for Collaborative Planning with VLM+LLM [8.3321872381107]
  我々は,LLMとVLMを協調的に統合するEmbodied Multimodal AgentであるEMAC+を紹介する。 既存の方法とは異なり、EMAC+は低レベルの視覚制御タスクを実行するVLMからのリアルタイムフィードバックを使用して、高レベルのテキストプランを動的に洗練する。 EMAC+は、ノイズの多い観察と効率的な学習に対して優れたタスクパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-26T12:34:16Z)
• Improving Generalization in Visual Reasoning via Self-Ensemble [0.0]
  本稿では,パラメータを更新せずにモデルの一般化と視覚的推論を改善する手法であるセルフアンサンブルを提案する。 私たちの重要な洞察は、LVLM自体が他のLVLMを必要とせずにアンサンブルできるということです。
  論文  参考訳（メタデータ） (2024-10-28T10:04:40Z)
• Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning [79.38140606606126]
  強化学習(RL)を用いた視覚言語モデル(VLM)を微調整するアルゴリズムフレームワークを提案する。 我々のフレームワークはタスク記述を提供し、次にVLMにチェーン・オブ・シント(CoT)推論を生成するよう促す。 提案手法は,VLMエージェントの様々なタスクにおける意思決定能力を向上させる。
  論文  参考訳（メタデータ） (2024-05-16T17:50:19Z)
• Bootstrapping Reinforcement Learning with Imitation for Vision-Based Agile Flight [20.92646531472541]
  本稿では,Reinforcement Learning(RL)とImitation Learning(IL)のサンプル効率を組み合わせた新しいアプローチを提案する。 本フレームワークは、RLを用いた3段階の教員政策と、ILによる学生政策に蒸留する特権状態情報と、RLによる適応微調整とを含む。 テストでは、スクラッチからRLが失敗するシナリオだけでなく、ロバストさとパフォーマンスの両方で既存のILメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-03-18T19:25:57Z)
• Vision-Language Models Provide Promptable Representations for Reinforcement Learning [67.40524195671479]
  視覚言語モデル(VLM)に符号化された多量の一般知識と索引可能な世界知識をインターネット規模で事前学習して具体的強化学習(RL)を行う新しい手法を提案する。 提案手法では,共通意味的推論の表現にチェーン・オブ・シントを用いることで,新規シーンのポリシー性能を1.5倍向上できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T00:48:56Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。