論文の概要: Environmental Understanding Vision-Language Model for Embodied Agent
- arxiv url: http://arxiv.org/abs/2604.19839v1
- Date: Tue, 21 Apr 2026 09:11:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-23 15:36:10.639986
- Title: Environmental Understanding Vision-Language Model for Embodied Agent
- Title（参考訳）: 環境理解型視覚ランゲージモデル
- Authors: Jinsik Bang, Jaeyeon Bae, Donggyu Lee, Siyeol Jung, Taehwan Kim,
- Abstract要約: 視覚言語モデル(VLM)は、指示追従型エンボディエージェントに対する強い知覚と推論能力を示している。
本研究では,4つのコアスキルを微調整した環境理解エンボダイドエージェント(EUEA)という新しいフレームワークを提案する。
EUEAスキルを微調整することで、我々のフレームワークは命令追従のためのより信頼性の高いタスク実行を可能にします。
- 参考スコア（独自算出の注目度）: 13.471715889915862
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) have shown strong perception and reasoning abilities for instruction-following embodied agents. However, despite these abilities and their generalization performance, they still face limitations in environmental understanding, often failing on interactions or relying on environment metadata during execution. To address this challenge, we propose a novel framework named Environmental Understanding Embodied Agent (EUEA), which fine-tunes four core skills: 1) object perception for identifying relevant objects, 2) task planning for generating interaction subgoals, 3) action understanding for judging success likelihood, and 4) goal recognition for determining goal completion. By fine-tuning VLMs with EUEA skills, our framework enables more reliable task execution for instruction-following. We further introduce a recovery step that leverages these core skills and a group relative policy optimization (GRPO) stage that refines inconsistent skill predictions. The recovery step samples alternative actions to correct failure cases, and the GRPO stage refines inconsistent skill predictions. Across ALFRED tasks, our VLM significantly outperforms a behavior-cloning baseline, achieving an 8.86% improvement in average success rate. The recovery and GRPO stages provide an additional 3.03% gain, further enhancing overall performance. Finally, our skill-level analyses reveal key limitations in the environmental understanding of closed- and open-source VLMs and identify the capabilities necessary for effective agent-environment interaction.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、指示追従型エンボディエージェントに対する強い知覚と推論能力を示している。
しかしながら、これらの能力とその一般化性能にもかかわらず、それらは環境理解の限界に直面し、しばしば相互作用に失敗したり、実行中に環境メタデータに依存する。
この課題に対処するために,我々は,4つのコアスキルを微調整するEUEA(Environmental Understanding Embodied Agent)という新しいフレームワークを提案する。
1)関連対象を特定するための対象知覚
2 インタラクション・サブゴールの生成のためのタスク・プランニング
3)成功の可能性を判断するための行動理解,及び
4)ゴール完了を決定するためのゴール認識。
VLMをEUEAスキルで微調整することで、我々のフレームワークは命令追従のためのより信頼性の高いタスク実行を可能にします。
さらに、これらのコアスキルを活用するリカバリステップと、一貫性のないスキル予測を洗練するグループ相対ポリシー最適化(GRPO)ステージも導入する。
回復ステップは、障害ケースを正すための代替アクションをサンプリングし、GRPOステージは、一貫性のないスキル予測を洗練する。
ALFREDタスク全体で、VLMは行動閉鎖ベースラインを著しく上回り、平均成功率は8.86%向上した。
回復とGRPOのステージは3.03%増加し、全体的なパフォーマンスがさらに向上する。
最後に,VLMの環境理解における重要な制約を明らかにするとともに,効果的なエージェント・環境相互作用に必要な機能を明らかにする。
関連論文リスト
- How Foundational Skills Influence VLM-based Embodied Agents:A Native Perspective [18.773467537970753]
VLM駆動型エンボディエージェントのベンチマークであるNativeEmbodiedを提案する。
多様なシミュレートされたシーンに基づいて構築されたNativeEmbodiedには、全体的なパフォーマンスを評価するための複雑なシナリオにおける3つの代表的なハイレベルタスクが含まれている。
より詳細な分析を行うため、4種類の低レベルタスクを構築し、それぞれが基本的な具体的スキルをターゲットにしている。
論文 参考訳（メタデータ） (2026-02-24T08:42:41Z) - What Do LLM Agents Know About Their World? Task2Quiz: A Paradigm for Studying Environment Understanding [50.35012849818872]
大規模言語モデル(LLM)エージェントは、複雑な意思決定やツール使用タスクにおいて顕著な能力を示した。
本研究では,タスク実行と世界状態理解の分離を目的とした決定論的かつ自動評価パラダイムであるTask-to-Quiz(T2Q)を提案する。
実験の結果,タスク成功は環境理解の指標として不十分な場合が多く,現在の記憶機構はエージェントが環境の基底モデルを取得するのに有効ではないことが明らかとなった。
論文 参考訳（メタデータ） (2026-01-14T14:09:11Z) - EVOLVE-VLA: Test-Time Training from Environment Feedback for Vision-Language-Action Models [57.75717492488268]
VLA(Vision-Language-Action)モデルは、大きな言語モデルを活用することで高度なロボット操作を行う。
Supervised Finetuning (SFT) では、タスク毎の数百のデモ、厳格に軌跡を記憶すること、デプロイメント条件がトレーニングから逸脱したときに適応できないことなどが求められている。
EVOLVE-VLA(EVOLVE-VLA)は、VLAが最小またはゼロのタスク固有のデモで環境相互作用を通じて継続的に適応できるテストタイムトレーニングフレームワークである。
論文 参考訳（メタデータ） (2025-12-16T18:26:38Z) - SkillGen: Learning Domain Skills for In-Context Sequential Decision Making [24.41349550520032]
我々は、構造化シーケンシャル推論のためのスキルベースのICLフレームワークであるSkillGenを紹介する。
我々は、SkillGenが一貫した利益を達成し、モデル全体の平均で5.9%から16.5%の進歩率を向上させることを示した。
論文 参考訳（メタデータ） (2025-11-18T17:09:21Z) - Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。
我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。
また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
論文 参考訳（メタデータ） (2025-10-01T17:58:05Z) - Real-Time Verification of Embodied Reasoning for Generative Skill Acquisition [47.068088124436535]
生成的スキル獲得により、エンボディエージェントは、スケーラブルで進化するコントロールスキルのレパートリーを積極的に学ぶことができる。
本稿では,実時間検証の原則を具体化技術学習に体系的に統合するフレームワークであるVERGSAを提案する。
我々の知る限り、本手法は検証駆動型生成スキル獲得のための総合的なトレーニングデータセットとして最初のものである。
論文 参考訳（メタデータ） (2025-05-16T12:19:13Z) - CLEA: Closed-Loop Embodied Agent for Enhancing Task Execution in Dynamic Environments [39.5949489828609]
大規模言語モデル(LLM)は、意味論的推論を通じて複雑なタスクを階層的に分解する際、顕著な能力を示す。
クローズドループ・エンボダイド・エージェント (CLEA) は,クローズドループタスク管理のための機能的デカップリングを備えた,4つの特別なオープンソース LLM を組み込んだ新しいアーキテクチャである。
我々は、物体探索、操作、探索操作統合タスクのための2つの異種ロボットを用いて、操作可能な物体を実環境で実験する。
論文 参考訳（メタデータ） (2025-03-02T04:50:59Z) - Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning [79.38140606606126]
強化学習(RL)を用いた視覚言語モデル(VLM)を微調整するアルゴリズムフレームワークを提案する。
我々のフレームワークはタスク記述を提供し、次にVLMにチェーン・オブ・シント(CoT)推論を生成するよう促す。
提案手法は,VLMエージェントの様々なタスクにおける意思決定能力を向上させる。
論文 参考訳（メタデータ） (2024-05-16T17:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。