論文の概要: Selective Agent Guidance via Entropy: Learning Autonomous Policies from Imperfect VLM Teachers

• arxiv url: http://arxiv.org/abs/2609.01567v1
• Date: Tue, 01 Sep 2026 17:33:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.90034
• Title: Selective Agent Guidance via Entropy: Learning Autonomous Policies from Imperfect VLM Teachers
• Title（参考訳）: エントロピーによる選択的エージェント誘導:不完全なVLM教師による自律的政策の学習
• Authors: Matteo Merler, Giovanni Bonetta, Davide Zago, Rossella Cancelliere, Bernardo Magnini,
• Abstract要約: VLM(Vision-Language Models)はインタラクティブな意思決定に有用な事前情報を提供するが、ポリシーとして直接使用するのは高価で脆弱である。 我々は、オンラインで高価で不完全なVLM教師から安価な自律政策を学ぶ方法を研究する。 本稿では,学習者が不確実な場合にのみVLMをクエリするフレームワークであるSAGEを提案し,学習中に提案した動作を実行し,ガイダンスを軽量な強化学習(RL)ポリシーに抽出する。
• 参考スコア（独自算出の注目度）: 2.648109602622819
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) provide useful priors for interactive decision-making, but using them directly as policies is expensive and brittle: they must be queried at every step, do not improve from environment interaction, and can repeat systematic errors. We study how to learn a cheap autonomous policy from an online, expensive, and imperfect but informative VLM teacher. We propose SAGE (Selective Agent Guidance via Entropy), a framework that queries a VLM only when the learner is uncertain, executes the suggested action during training, and distills guidance into a lightweight Reinforcement Learning (RL) policy. Because VLM advice is not always reliable, SAGE can weight teacher-action distillation using environment-derived advantages rather than treating all suggestions as equally useful. Across sparse-reward visual reasoning and navigation tasks, SAGE learns policies that act without VLM guidance at evaluation time and improves over unguided RL in several environments, including settings where the learned policy exceeds its VLM teacher. The results show that selective guidance is most beneficial when the VLM can help the agent discover high-reward trajectories, and less useful when unguided exploration already succeeds or teacher actions do not lead to informative experience. SAGE also reduces VLM usage by prompting the teacher only on a fraction of training steps and requiring no VLM calls at deployment. Overall, our results suggest that VLMs don't need to be used as fixed policies to be useful; they can instead act as temporary, imperfect sources of guidance whose value is tested and internalized through interaction.
• Abstract（参考訳）: VLM(Vision-Language Models)はインタラクティブな意思決定に有用な事前情報を提供するが、ポリシーとして直接使用するのは高価で不安定である。 我々は、オンラインで高価で不完全なVLM教師から安価な自律政策を学ぶ方法を研究する。 SAGE(Selective Agent Guidance via Entropy)は,学習者が不確実な場合にのみVLMをクエリするフレームワークで,学習中に提案した動作を実行し,ガイダンスを軽量な強化学習(RL)ポリシーに蒸留する。 VLMアドバイスは必ずしも信頼できないため、SAGEは全ての提案を等しく有用なものとして扱うのではなく、環境由来の利点を用いて教師の行動蒸留を重み付けすることができる。 スパース・リワード視覚推論とナビゲーションタスク全体で、SAGEは評価時にVLMガイダンスなしで行動するポリシーを学習し、学習ポリシーがVLM教師を超える設定を含むいくつかの環境において、誘導されていないRLよりも改善する。 以上の結果から,VLMが高次軌道の発見に役立てることができ,無誘導探索がすでに成功している場合や教師の行動が情報的経験に繋がらない場合にも,選択的指導が有用であることが示唆された。 SAGEはまた、トレーニングステップのごく一部だけを教師に促し、デプロイ時にVLMコールを不要にすることで、VLMの使用を減らす。 全体としては、VLMは有用な固定ポリシーとして使う必要はなく、代わりに、インタラクションを通じて価値をテストし内部化される一時的な、不完全なガイダンス源として振る舞うことができることを示唆している。

関連論文リスト

• Automating Potential-based Reward Shaping with Vision Language Model Guidance [2.8360662552057323]
  本稿では視覚言語モデルからのフィードバックから直接潜在的な機能を学ぶVLM誘導PBRSフレームワークを紹介する。 このアプローチはポテンシャルに基づく報酬形成に基づいているため、元の最適ポリシーを保っている。 結果として得られた選好ラベルは精度が低いが、実証的な証拠は、選好ラベルが学習を加速するためにも使用できることを示している。
  論文  参考訳（メタデータ） (2026-06-25T15:45:57Z)
• TTT-VLA: Test-Time Latent Prompt Optimization for Vision-Language-Action Models [49.463896453707065]
  VLA(Vision-Language-Action)モデルは目覚ましい進歩を遂げているが、展開時の分散シフトには弱いままである。 近年のVLAモデルは、プロンプトが政策行動の効率的なインターフェースとして機能することを示唆しているが、既存のプロンプトベースのステアリングは通常、外部ガイダンスに依存している。 VLAのテストタイムトレーニング(TTT)は、プロンプトの最適化によって実現可能か? 我々は、遅延プロンプト最適化(LPO)に基づくテスト時間トレーニングフレームワークであるTTT-VLAでこの問題に対処する。
  論文  参考訳（メタデータ） (2026-06-02T04:10:39Z)
• VLMs are Good Teachers for Video Reasoning via Adaptive Test-Time Optimization [34.39134324001484]
  視覚言語モデル(VLM)の役割を「教師」に移行させるパラダイムシフトを導入する。 VLMの教師は、タスク固有のルールを識別可能な報酬に抽出し、LoRAモジュールのテストタイムオンライン最適化を通じてVReasonerを定式化する。 この戦略は、適応的なテスト時間最適化を可能にし、Vの本質的な境界を越えて推論能力を拡張する。
  論文  参考訳（メタデータ） (2026-06-01T17:54:26Z)
• Preference VLM: Leveraging VLMs for Scalable Preference-Based Reinforcement Learning [17.59802090014789]
  視覚言語モデル(VLM)と選択的フィードバックを統合するフレームワークであるPrefVLMを紹介する。 提案手法はVLMを利用して初期選好ラベルを生成する。 メタワールド操作タスクの実験は、PrefVLMが最先端の手法に匹敵する成功率または優れた成功率を達成することを示した。
  論文  参考訳（メタデータ） (2025-02-03T18:50:15Z)
• EnvGen: Generating and Adapting Environments via LLMs for Training Embodied Agents [65.38474102119181]
  トレーニング環境を適応的に作成するフレームワークであるEnvGenを提案する。 我々は、LLM生成環境とLLM生成環境を混合した小さなRLエージェントを訓練する。 我々は、EnvGenで訓練された小さなRLエージェントが、GPT-4エージェントを含むSOTAメソッドより優れており、長い水平タスクをかなり高速に学習できることを発見した。
  論文  参考訳（メタデータ） (2024-03-18T17:51:16Z)
• Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization [53.510942601223626]
  大規模言語モデル(LLM)は多様なタスクに対して堅牢な問題解決能力を示す。 これらのタスクソルバは、タスクルールを通知し、行動を調整するために手作業によるプロンプトを必要とする。 本稿では,ポリシーレベルのリフレクションと最適化を備えた LLM ベースのエージェントである Agent-Pro を提案する。
  論文  参考訳（メタデータ） (2024-02-27T15:09:20Z)
• Enabling Intelligent Interactions between an Agent and an LLM: A Reinforcement Learning Approach [31.6589518077397]
  大規模言語モデル(LLM)は、大量のテキストデータセットから得られた膨大な量の世界の知識を符号化する。 LLMは、高レベルな命令を提供することで、複雑なシーケンシャルな意思決定タスクを解決するための実施エージェントを支援することができる。 本研究では,高レベルの命令に対してLLMを問合せする必要がある場合に学習する強化学習ベースのアプローチである When2Ask を提案する。
  論文  参考訳（メタデータ） (2023-06-06T11:49:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。