論文の概要: What You Think is What You See: Driving Exploration in VLM Agents via Visual-Linguistic Curiosity

• arxiv url: http://arxiv.org/abs/2605.03782v1
• Date: Tue, 05 May 2026 14:08:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.962611
• Title: What You Think is What You See: Driving Exploration in VLM Agents via Visual-Linguistic Curiosity
• Title（参考訳）: 視覚言語的好奇心によるVLMエージェントの探索
• Authors: Haoxi Li, Qinglin Hou, Jianfei Ma, Jinxiang Lai, Tao Han, Sikai Bai, Jingcai Guo, Jie Zhang, Song Guo,
• Abstract要約: VLMエージェントは、好奇心を駆使した探索を通じて、内部世界モデルに挑戦し、洗練するシグナルを積極的に見つけることができるだろうか? 本稿では,エージェントの言語世界モデルに基づく推論と探索を,進化するターゲットネットワークの安定的な視覚表現に基礎付けることによってブリッジする統合フレームワークGLANCEを提案する。
• 参考スコア（独自算出の注目度）: 38.38728887407681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To navigate partially observable visual environments, recent VLM agents increasingly internalize world modeling capabilities into their policies via explicit CoT reasoning, enabling them to mentally simulate futures before acting. However, relying solely on passive reasoning over visited states is insufficient for sparse-reward tasks, as it lacks the epistemic drive to actively uncover the ``known unknown'' required for robust generalization. We ask: Can VLM agents actively find signals that challenge and refine their internal world model through curiosity-driven exploration? In this work, we propose GLANCE, a unified framework that bridges reasoning and exploration by grounding the agent's linguistic world model into the stable visual representations of an evolving target network. Crucially, GLANCE leverages the discrepancy between linguistic prediction and visual reality as an intrinsic curiosity signal within reinforcement learning, steering the agent to actively explore areas where its internal model is uncertain. Extensive experiments across a series of agentic tasks show the effectiveness of GLANCE, and demonstrate that aligning ``what the agent thinks'' with ``what the agent sees'' is key to solving complex or sparse agentic tasks.
• Abstract（参考訳）: 部分的に観察可能な視覚環境をナビゲートするために、最近のVLMエージェントは、明示的なCoT推論を通じて世界モデリング能力を彼らのポリシーに内包し、行動する前に未来を精神的にシミュレートすることを可能にする。 しかし、訪問国に対する受動的推論のみに頼ることは、厳密な一般化に必要な「未知の未知」を積極的に発見するための認識力の欠如から、スパース・リワード・タスクには不十分である。 VLMエージェントは、好奇心を駆使した探索を通じて、内部世界モデルに挑戦し、洗練するシグナルを積極的に見つけることができるだろうか? 本研究では,エージェントの言語世界モデルに基づく推論と探索を,進化するターゲットネットワークの安定的な視覚表現に基礎付けることによってブリッジする統一的なフレームワークであるGLANCEを提案する。 重要なことは、GLANCEは言語予測と視覚現実の相違を強化学習における固有の好奇心信号として活用し、エージェントに内部モデルが不確実な領域を積極的に探究するよう促す。 一連のエージェントタスクにわたる広範囲な実験は、GLANCEの有効性を示し、エージェントが「エージェントが見ているもの」と「エージェントが見ているもの」とを一致させることが、複雑でスパースなエージェントタスクを解決するための鍵であることを証明している。

関連論文リスト

• Theory of Space: Can Foundation Models Construct Spatial Beliefs through Active Exploration? [83.13508919229939]
  宇宙の理論は、自己指向的かつ活発な探索を通じて情報を得るエージェントの能力として定義される。 重要な革新は空間的信念の探索であり、各ステップでモデルが空間的表現を明らかにするように促す。 この結果から,現在の基盤モデルでは,活発な探査において,コヒーレントで変更可能な空間的信念の維持に苦慮していることが示唆された。
  論文  参考訳（メタデータ） (2026-02-04T19:06:40Z)
• Imagine, Verify, Execute: Memory-guided Agentic Exploration with Vision-Language Models [81.08295968057453]
  本稿では,人間の好奇心に触発されたエージェント探索フレームワークIVEを紹介する。 シミュレーションおよび実世界のテーブルトップ環境におけるIVEの評価を行った。
  論文  参考訳（メタデータ） (2025-05-12T17:59:11Z)
• SENSEI: Semantic Exploration Guided by Foundation Models to Learn Versatile World Models [22.96777963013918]
  固有のモチベーションは、外部のタスクベースの報酬から探索を分離しようとする。 SENSEIはモデルに基づくRLエージェントに意味論的行動の本質的な動機を与えるためのフレームワークである。
  論文  参考訳（メタデータ） (2025-03-03T14:26:15Z)
• DREAMWALKER: Mental Planning for Continuous Vision-Language Navigation [107.5934592892763]
  本稿では,世界モデルに基づくVLN-CEエージェントDREAMWALKERを提案する。 世界モデルは、複雑な連続環境の視覚的、位相的、動的特性を要約するために構築される。 コストのかかるアクションを実行する前に、そのような抽象的な世界で可能な計画を完全にシミュレートし、評価することができる。
  論文  参考訳（メタデータ） (2023-08-14T23:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。