論文の概要: What You Think is What You See: Driving Exploration in VLM Agents via Visual-Linguistic Curiosity

• arxiv url: http://arxiv.org/abs/2605.03782v1
• Date: Tue, 05 May 2026 14:08:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.962611
• Title: What You Think is What You See: Driving Exploration in VLM Agents via Visual-Linguistic Curiosity
• Title（参考訳）: 視覚言語的好奇心によるVLMエージェントの探索
• Abstract要約: VLMエージェントは、好奇心を駆使した探索を通じて、内部世界モデルに挑戦し、洗練するシグナルを積極的に見つけることができるだろうか? 本稿では,エージェントの言語世界モデルに基づく推論と探索を,進化するターゲットネットワークの安定的な視覚表現に基礎付けることによってブリッジする統合フレームワークGLANCEを提案する。
• 参考スコア（独自算出の注目度）: 38.38728887407681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To navigate partially observable visual environments, recent VLM agents increasingly internalize world modeling capabilities into their policies via explicit CoT reasoning, enabling them to mentally simulate futures before acting. However, relying solely on passive reasoning over visited states is insufficient for sparse-reward tasks, as it lacks the epistemic drive to actively uncover the ``known unknown'' required for robust generalization. We ask: Can VLM agents actively find signals that challenge and refine their internal world model through curiosity-driven exploration? In this work, we propose GLANCE, a unified framework that bridges reasoning and exploration by grounding the agent's linguistic world model into the stable visual representations of an evolving target network. Crucially, GLANCE leverages the discrepancy between linguistic prediction and visual reality as an intrinsic curiosity signal within reinforcement learning, steering the agent to actively explore areas where its internal model is uncertain. Extensive experiments across a series of agentic tasks show the effectiveness of GLANCE, and demonstrate that aligning ``what the agent thinks'' with ``what the agent sees'' is key to solving complex or sparse agentic tasks.
• Abstract（参考訳）: 部分的に観察可能な視覚環境をナビゲートするために、最近のVLMエージェントは、明示的なCoT推論を通じて世界モデリング能力を彼らのポリシーに内包し、行動する前に未来を精神的にシミュレートすることを可能にする。 しかし、訪問国に対する受動的推論のみに頼ることは、厳密な一般化に必要な「未知の未知」を積極的に発見するための認識力の欠如から、スパース・リワード・タスクには不十分である。 VLMエージェントは、好奇心を駆使した探索を通じて、内部世界モデルに挑戦し、洗練するシグナルを積極的に見つけることができるだろうか? 本研究では,エージェントの言語世界モデルに基づく推論と探索を,進化するターゲットネットワークの安定的な視覚表現に基礎付けることによってブリッジする統一的なフレームワークであるGLANCEを提案する。 重要なことは、GLANCEは言語予測と視覚現実の相違を強化学習における固有の好奇心信号として活用し、エージェントに内部モデルが不確実な領域を積極的に探究するよう促す。 一連のエージェントタスクにわたる広範囲な実験は、GLANCEの有効性を示し、エージェントが「エージェントが見ているもの」と「エージェントが見ているもの」とを一致させることが、複雑でスパースなエージェントタスクを解決するための鍵であることを証明している。

関連論文リスト

• Towards Generalizable Visually Grounded Exploration of Household Devices [74.66117923766632]
  汎用的な自律的実施エージェントを実現する上でのボトルネックは、Generalizable Visually Grounded Explorationにある。 VGEBenchは、視覚言語モデルの一般化可能な視野探索能力を評価するために設計されたベンチマークである。 静的なデータセットとは異なり、我々はLogic-Driven State Machineフレームワークを構築している。このフレームワークは多ターンインタラクションループをシミュレートし、アクティブな視覚知覚とフィードバック駆動の修正によって目標を達成するエージェントを説得する。
  論文  参考訳（メタデータ） (2026-09-01T07:42:45Z)
• Multi-Agent LLMs Fail to Explore Each Other [34.74439361133657]
  本稿では,現代の大規模言語モデル (LLM) エージェントが相互に対話する際に効果的に探索できないことを示す。 MACE(Multi- Agent Contextual Exploration)は、構造化されたピア選択による探索を明示的に促進する軽量なフレームワークである。
  論文  参考訳（メタデータ） (2026-07-13T08:34:05Z)
• Playing ZendoWorld: Challenging AI Agents on Active Visual Concept Induction [39.71864879537297]
  ZendoWorldは、エージェントが視覚ゲーム観測に関する論理的なルールを推論しなければならない、制御されたインタラクティブ環境である。 我々は、純粋なVLM推論、ベイズ粒子フィルタリング、動的概念発見、ニューロシンボリックな方法にまたがるいくつかのエージェントを評価した。 本研究の主目的は,(1)ラベルの精度が高いと根本規則の回復が示唆されないこと,(2)認知と帰納は異なるエージェントクラスにおいて異なるボトルネックとなること,(3)VLMをベースとしたエージェントは,仮説の不確実性を積極的に減少させることなく,ほぼ不均一な実験を提案すること,である。
  論文  参考訳（メタデータ） (2026-07-09T08:29:23Z)
• Remember to be Curious: Episodic Context and Persistent Worlds for 3D Exploration [60.63663437013685]
  本研究では,この失敗は空間的持続性とエピソード的文脈の欠如に起因することを実証する。 エージェントポリシーは、RGB観測のシーケンスモデルとしてパラメータ化され、エピソジックな文脈を維持する。 エンド・ツー・エンドのポリシーは、リンゴの摘みやイメージゴールナビゲーションといった下流タスクへの効果的な適応を可能にし、オフ・スクラッチベースラインよりも優れています。
  論文  参考訳（メタデータ） (2026-05-21T17:58:06Z)
• Theory of Space: Can Foundation Models Construct Spatial Beliefs through Active Exploration? [83.13508919229939]
  宇宙の理論は、自己指向的かつ活発な探索を通じて情報を得るエージェントの能力として定義される。 重要な革新は空間的信念の探索であり、各ステップでモデルが空間的表現を明らかにするように促す。 この結果から,現在の基盤モデルでは,活発な探査において,コヒーレントで変更可能な空間的信念の維持に苦慮していることが示唆された。
  論文  参考訳（メタデータ） (2026-02-04T19:06:40Z)
• Imagine, Verify, Execute: Memory-guided Agentic Exploration with Vision-Language Models [81.08295968057453]
  本稿では,人間の好奇心に触発されたエージェント探索フレームワークIVEを紹介する。 シミュレーションおよび実世界のテーブルトップ環境におけるIVEの評価を行った。
  論文  参考訳（メタデータ） (2025-05-12T17:59:11Z)
• SENSEI: Semantic Exploration Guided by Foundation Models to Learn Versatile World Models [22.96777963013918]
  固有のモチベーションは、外部のタスクベースの報酬から探索を分離しようとする。 SENSEIはモデルに基づくRLエージェントに意味論的行動の本質的な動機を与えるためのフレームワークである。
  論文  参考訳（メタデータ） (2025-03-03T14:26:15Z)
• DREAMWALKER: Mental Planning for Continuous Vision-Language Navigation [107.5934592892763]
  本稿では,世界モデルに基づくVLN-CEエージェントDREAMWALKERを提案する。 世界モデルは、複雑な連続環境の視覚的、位相的、動的特性を要約するために構築される。 コストのかかるアクションを実行する前に、そのような抽象的な世界で可能な計画を完全にシミュレートし、評価することができる。
  論文  参考訳（メタデータ） (2023-08-14T23:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。