論文の概要: Grounding Multimodal LLMs to Embodied Agents that Ask for Help with Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2504.00907v2
• Date: Wed, 02 Apr 2025 01:49:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:22:26.351829
• Title: Grounding Multimodal LLMs to Embodied Agents that Ask for Help with Reinforcement Learning
• Title（参考訳）: 強化学習支援を課題としたマルチモーダルLLMの身体的エージェントへの接地
• Authors: Ram Ramrakhya, Matthew Chang, Xavier Puig, Ruta Desai, Zsolt Kira, Roozbeh Mottaghi,
• Abstract要約: 現実の環境で活動する身体的エージェントは、曖昧で特定されていない人間の指示を解釈しなければならない。 本研究では,Ask-to-Actタスクを導入し,具体的エージェントがホーム環境においてあいまいな指示を受けると,特定のオブジェクトインスタンスをフェッチしなければならない。 LLM生成報酬を用いたオンライン強化学習(RL)を用いた視覚言語行動(VLA)ポリシーとして,マルチモーダル大規模言語モデル(MLLM)を微調整する新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 48.098838027631494
• License:
• Abstract: Embodied agents operating in real-world environments must interpret ambiguous and under-specified human instructions. A capable household robot should recognize ambiguity and ask relevant clarification questions to infer the user intent accurately, leading to more effective task execution. To study this problem, we introduce the Ask-to-Act task, where an embodied agent must fetch a specific object instance given an ambiguous instruction in a home environment. The agent must strategically ask minimal, yet relevant, clarification questions to resolve ambiguity while navigating under partial observability. To solve this problem, we propose a novel approach that fine-tunes multimodal large language models (MLLMs) as vision-language-action (VLA) policies using online reinforcement learning (RL) with LLM-generated rewards. Our method eliminates the need for large-scale human demonstrations or manually engineered rewards for training such agents. We benchmark against strong zero-shot baselines, including GPT-4o, and supervised fine-tuned MLLMs, on our task. Our results demonstrate that our RL-finetuned MLLM outperforms all baselines by a significant margin ($19.1$-$40.3\%$), generalizing well to novel scenes and tasks. To the best of our knowledge, this is the first demonstration of adapting MLLMs as VLA agents that can act and ask for help using LLM-generated rewards with online RL.
• Abstract（参考訳）: 現実の環境で活動する身体的エージェントは、曖昧で特定されていない人間の指示を解釈しなければならない。 有能な家庭用ロボットは、あいまいさを認識し、ユーザの意図を正確に推測するために関連する明確化質問をし、より効果的なタスク実行につながる。 そこで本研究では,Ask-to-Actタスクを導入し,具体的エージェントは,家庭環境においてあいまいな指示を受けると,特定のオブジェクトインスタンスをフェッチしなければならない。 エージェントは、部分的な観測可能性の下でナビゲートしながら曖昧さを解決するために、最小限で、関連性があり、明確化の質問を戦略的に問う必要がある。 この問題を解決するために,LLM生成報酬を用いたオンライン強化学習(RL)を用いた視覚言語行動(VLA)ポリシーとして,マルチモーダル大規模言語モデル(MLLM)を提案する。 本手法は,大規模な人体実験や手作業による報酬の訓練の必要性を解消する。 我々は,GPT-4oを含む強力なゼロショットベースラインと教師付き微調整MLLMとのベンチマークを行った。 以上の結果から,我々のRL微調整MLLMは,新規なシーンやタスクを一般化し,すべてのベースラインを大幅なマージン(19.1$-40.3\%$)で上回ることを示した。 我々の知る限りでは、これはMLLMをVLAエージェントとして適応させ、オンラインRLでLLM生成報酬を使用して、行動し、助けを求める最初のデモンストレーションである。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Look Before You Leap: Enhancing Attention and Vigilance Regarding Harmful Content with GuidelineLLM [53.79753074854936]
  大規模言語モデル(LLM)は、出現するジェイルブレイク攻撃に対してますます脆弱である。 この脆弱性は現実世界のアプリケーションに重大なリスクをもたらす。 本稿では,ガイドラインLLMという新しい防御パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-10T12:42:33Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• Reinforcement Learning Problem Solving with Large Language Models [0.0]
  大規模言語モデル (LLM) には膨大な量の世界知識があり、自然言語処理 (NLP) タスクの性能向上のために様々な分野に応用できるようになっている。 これはまた、人間とAIシステム間の会話に基づく対話による、意図した問題を解決するための、よりアクセスしやすいパラダイムを促進する。 研究科学者」と「レガリー・マター・インテーク」の2つの詳細なケーススタディを通して、我々のアプローチの実践性を示す。
  論文  参考訳（メタデータ） (2024-04-29T12:16:08Z)
• EnvGen: Generating and Adapting Environments via LLMs for Training Embodied Agents [65.38474102119181]
  トレーニング環境を適応的に作成するフレームワークであるEnvGenを提案する。 我々は、LLM生成環境とLLM生成環境を混合した小さなRLエージェントを訓練する。 我々は、EnvGenで訓練された小さなRLエージェントが、GPT-4エージェントを含むSOTAメソッドより優れており、長い水平タスクをかなり高速に学習できることを発見した。
  論文  参考訳（メタデータ） (2024-03-18T17:51:16Z)
• Using Large Language Models for Natural Language Processing Tasks in Requirements Engineering: A Systematic Guideline [2.6644624823848426]
  大規模言語モデル(LLM)は、要求工学(RE)タスクを自動化するための基盤となる。 本章は、LLMに関する本質的な知識を読者に提供することを目的としている。 学生、研究者、実践者が特定の目的に対処するためにLLMを活用するための包括的なガイドラインを提供する。
  論文  参考訳（メタデータ） (2024-02-21T14:00:52Z)
• LLM Augmented Hierarchical Agents [4.574041097539858]
  強化学習(Reinforcement Learning, RL)を用いた長期的時間的拡張タスクの解決は困難であり、事前知識(あるいは表層ラサ学習)を伴わない学習の一般的な実践によって複雑化される。 本稿では,LL を用いて環境から学習する上での LLM の計画能力を活用し,LLM を用いて長期的タスクを解く階層的エージェントを実現する。 このアプローチは、MiniGrid、SkillHack、Crafterなどのシミュレーション環境や、ブロック操作タスクにおける実際のロボットアームで評価される。
  論文  参考訳（メタデータ） (2023-11-09T18:54:28Z)
• LgTS: Dynamic Task Sampling using LLM-generated sub-goals for Reinforcement Learning Agents [10.936460061405157]
  LgTS (LLM-Guided Teacher-Student Learning) を提案する。 提案手法では,提案したサブゴールを達成するための事前訓練されたポリシーも必要としない。
  論文  参考訳（メタデータ） (2023-10-14T00:07:03Z)
• Enabling Intelligent Interactions between an Agent and an LLM: A Reinforcement Learning Approach [31.6589518077397]
  大規模言語モデル(LLM)は、大量のテキストデータセットから得られた膨大な量の世界の知識を符号化する。 LLMは、高レベルな命令を提供することで、複雑なシーケンシャルな意思決定タスクを解決するための実施エージェントを支援することができる。 本研究では,高レベルの命令に対してLLMを問合せする必要がある場合に学習する強化学習ベースのアプローチである When2Ask を提案する。
  論文  参考訳（メタデータ） (2023-06-06T11:49:09Z)
• Do Embodied Agents Dream of Pixelated Sheep: Embodied Decision Making using Language Guided World Modelling [101.59430768507997]
  強化学習 (Reinforcement Learning, RL) エージェントは通常、世界の事前の知識なしに、タブラララザを学習する。 抽象世界モデル (AWM) を仮定するために, 少数ショット大言語モデル (LLM) を提案する。 LLMを用いてAWMを仮定し, エージェント経験に基づくAWMの検証を行うことで, 従来手法よりもサンプル効率を桁違いに向上させることができる。
  論文  参考訳（メタデータ） (2023-01-28T02:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。