論文の概要: VLM Agents Generate Their Own Memories: Distilling Experience into Embodied Programs

• arxiv url: http://arxiv.org/abs/2406.14596v3
• Date: Thu, 31 Oct 2024 05:38:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 23:41:11.239758
• Title: VLM Agents Generate Their Own Memories: Distilling Experience into Embodied Programs
• Title（参考訳）: VLMエージェントが自作の記憶を生み出す: 身体的プログラムへの蒸留経験
• Authors: Gabriel Sarch, Lawrence Jang, Michael J. Tarr, William W. Cohen, Kenneth Marino, Katerina Fragkiadaki,
• Abstract要約: 大規模生成言語と視覚言語モデルは、意思決定のためのコンテキスト内学習において優れている。 In-Context Abstraction Learning (ICAL) は,マルチモーダルな体験のメモリを構築する手法である。 我々のアプローチは手動のプロンプト工学への依存を著しく減らし、そのような抽象化を欠いたアクションプランからコンテキスト内学習を一貫して上回ります。
• 参考スコア（独自算出の注目度）: 38.03704123835915
• License:
• Abstract: Large-scale generative language and vision-language models excel in in-context learning for decision making. However, they require high-quality exemplar demonstrations to be included in their context window. In this work, we ask: Can LLMs and VLMs generate their own examples from generic, sub-optimal demonstrations? We propose In-Context Abstraction Learning (ICAL), a method that builds a memory of multimodal experience from sub-optimal demonstrations and human feedback. Given a task demonstration that may contain inefficiencies or mistakes, a VLM abstracts the trajectory into a generalized program by correcting inefficient actions and annotating cognitive abstractions: causal relationships, object state changes, temporal subgoals, and task-relevant visual elements. These abstractions are iteratively improved through human feedback while the agent attempts to execute the trajectory. The resulting examples, when used as exemplars in the prompt, significantly improve decision-making in retrieval-augmented LLM and VLM agents. Moreover, as the agent's library of examples grows, it becomes more efficient, relying less on human feedback and requiring fewer environment interactions per demonstration. Our ICAL agent surpasses the state-of-the-art in dialogue-based instruction following in TEACh, multimodal web agents in VisualWebArena, and action anticipation in Ego4D. In TEACh, we achieve a 12.6% improvement in goal-condition success. In VisualWebArena, our task success rate improves over the SOTA from 14.3% to 22.7% using GPT4V. In Ego4D action forecasting, we improve over few-shot GPT-4V and remain competitive with supervised models. We show finetuning our retrieval-augmented in-context agent yields additional improvements. Our approach significantly reduces reliance on manual prompt engineering and consistently outperforms in-context learning from action plans that lack such abstractions.
• Abstract（参考訳）: 大規模生成言語と視覚言語モデルは、意思決定のためのコンテキスト内学習において優れている。 しかし、それらのコンテキストウィンドウに含めるためには、高品質な模範的なデモが必要である。 LLMとVLMは、汎用的で準最適なデモから、独自の例を生成できますか? In-Context Abstraction Learning (ICAL) は,マルチモーダルな体験のメモリを構築する手法である。 不効率や誤りを含むタスクのデモンストレーションが与えられた場合、VLMは、非効率な行動を修正し、認知的抽象化(因果関係、オブジェクトの状態変化、時間的サブゴール、タスク関連視覚要素)を注釈することで、軌道を一般化されたプログラムに抽象化する。 これらの抽象化は人間のフィードバックによって反復的に改善され、エージェントは軌道を実行しようとする。 結果として得られた例は, 検索増強LDMおよびVLM剤の意思決定を著しく改善した。 さらに、エージェントのサンプルライブラリが大きくなると、より効率的になり、人間のフィードバックに頼らず、実演ごとに環境との相互作用が少なくなる。 TEAChやVisualWebArenaのマルチモーダルWebエージェント,Ego4Dのアクション予測など,対話型指導の最先端を超越している。 TEAChでは,目標条件の成功率が12.6%向上した。 VisualWebArenaでは、GPT4Vを使用してSOTAを14.3%から22.7%に改善しています。 Ego4D アクション予測では,数発の GPT-4V を改良し,教師付きモデルとの競争を継続する。 検索強化インコンテキストエージェントの微調整により,さらなる改善が期待できる。 我々のアプローチは手動のプロンプト工学への依存を著しく減らし、そのような抽象化を欠いたアクションプランからコンテキスト内学習を一貫して上回ります。

関連論文リスト

• Diffusion Augmented Agents: A Framework for Efficient Exploration and Transfer Learning [6.06616040517684]
  DAAGは、拡散モデルを使って動画を変換することで、エージェントの過去の経験を再ラベルする。 大規模言語モデルは、人間の監督を必要とせずに、この自律的なプロセスを編成する。 その結果、DAAGは報酬検知器の学習を改善し、過去の経験を移譲し、新しいタスクを取得する。
  論文  参考訳（メタデータ） (2024-07-30T13:01:31Z)
• Large Vision-Language Models as Emotion Recognizers in Context Awareness [14.85890824622433]
  文脈対応感情認識(CAER)は、様々な文脈から感情を知覚する必要がある複雑で重要なタスクである。 以前のアプローチは主に、イメージから感情的な手がかりを抽出する洗練されたアーキテクチャを設計することに焦点を当てていた。 本稿では,LVLM(Large Vision-Language Models)を活用したCAERタスクの実現の可能性について,体系的に検討する。
  論文  参考訳（メタデータ） (2024-07-16T01:28:06Z)
• Show, Don't Tell: Aligning Language Models with Demonstrated Feedback [54.10302745921713]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning [79.38140606606126]
  強化学習(RL)を用いた視覚言語モデル(VLM)を微調整するアルゴリズムフレームワークを提案する。 我々のフレームワークはタスク記述を提供し、次にVLMにチェーン・オブ・シント(CoT)推論を生成するよう促す。 提案手法は,VLMエージェントの様々なタスクにおける意思決定能力を向上させる。
  論文  参考訳（メタデータ） (2024-05-16T17:50:19Z)
• MetaReflection: Learning Instructions for Language Agents using Past Reflections [11.028256182234017]
  本稿では,言語エージェントの性能を向上させる新しいオフライン強化学習手法であるMetaReflectionを紹介する。 本稿では, 複雑な論理的推論, バイオメディカルセマンティックな類似性, オープンワールド質問応答, 脆弱性検出など, 複数領域にわたる評価によるメタリフレクションの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-13T10:51:43Z)
• Exploring the Transferability of Visual Prompting for Multimodal Large Language Models [47.162575147632396]
  Transferable Visual Prompting (TVP) は、異なるモデルに転送可能な視覚的プロンプトを生成するためのシンプルで効果的なアプローチである。 本稿では,既存の視覚的プロンプト手法のクロスモデル特徴劣化問題に対処し,学習したプロンプトの伝達可能性を高めるための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-17T09:39:07Z)
• Mitigating Hallucination in Large Multi-Modal Models via Robust Instruction Tuning [92.85265959892115]
  本稿では,Large-scale Robust Visual (LRV)-Instructionという,大規模かつ多様な視覚的インストラクションチューニングデータセットを紹介する。 本データセットは, GPT4が生成した400kの視覚的命令からなり, 16の視覚・言語的タスクをオープンエンドの指示と回答でカバーする。 LMMが生み出す幻覚を効果的に測定するために,人間の専門家による視覚指導のチューニングを安定的に評価するためのGAVIE(GPT4-Assisted Visual Instruction Evaluation)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T10:26:33Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。