論文の概要: OWMM-Agent: Open World Mobile Manipulation With Multi-modal Agentic Data Synthesis

• arxiv url: http://arxiv.org/abs/2506.04217v1
• Date: Wed, 04 Jun 2025 17:57:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.515298
• Title: OWMM-Agent: Open World Mobile Manipulation With Multi-modal Agentic Data Synthesis
• Title（参考訳）: OWMM-Agent:マルチモーダルエージェントデータ合成によるオープンワールドモバイル操作
• Authors: Junting Chen, Haotian Liang, Lingxiao Du, Weiyun Wang, Mengkang Hu, Yao Mu, Wenhai Wang, Jifeng Dai, Ping Luo, Wenqi Shao, Lin Shao,
• Abstract要約: オープンワールドのモバイル操作タスクは、オープンエンドの命令や環境への一般化が必要なため、依然として課題である。 本稿では,多視点のシーンフレームとエージェント状態を維持した新しいマルチモーダルエージェントアーキテクチャを提案する。 我々は,グローバルなシーン理解,ロボットの状態追跡,マルチモーダルアクション生成を統一モデルで実現した,モバイルマニピュレータのための基礎モデルであるOWMM-VLMについて紹介する。
• 参考スコア（独自算出の注目度）: 70.39500621448383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid progress of navigation, manipulation, and vision models has made mobile manipulators capable in many specialized tasks. However, the open-world mobile manipulation (OWMM) task remains a challenge due to the need for generalization to open-ended instructions and environments, as well as the systematic complexity to integrate high-level decision making with low-level robot control based on both global scene understanding and current agent state. To address this complexity, we propose a novel multi-modal agent architecture that maintains multi-view scene frames and agent states for decision-making and controls the robot by function calling. A second challenge is the hallucination from domain shift. To enhance the agent performance, we further introduce an agentic data synthesis pipeline for the OWMM task to adapt the VLM model to our task domain with instruction fine-tuning. We highlight our fine-tuned OWMM-VLM as the first dedicated foundation model for mobile manipulators with global scene understanding, robot state tracking, and multi-modal action generation in a unified model. Through experiments, we demonstrate that our model achieves SOTA performance compared to other foundation models including GPT-4o and strong zero-shot generalization in real world. The project page is at https://github.com/HHYHRHY/OWMM-Agent
• Abstract（参考訳）: ナビゲーション、操作、視覚モデルの急速な進歩により、移動マニピュレータは多くの専門的なタスクで使えるようになった。 しかし、オープンワールドモバイル操作(OWMM)タスクは、オープンエンドの指示や環境の一般化や、グローバルなシーン理解と現在のエージェント状態の両方に基づく低レベルのロボット制御と高レベルの意思決定を統合するための体系的な複雑さのため、依然として課題である。 この複雑さに対処するために,多視点シーンフレームとエージェント状態を維持し,機能呼び出しによるロボットの意思決定と制御を行う,新しいマルチモーダルエージェントアーキテクチャを提案する。 第2の課題は、ドメインシフトからの幻覚だ。 エージェント性能を向上させるため,OWMMタスクのためのエージェントデータ合成パイプラインを導入し,命令微調整によりVLMモデルをタスク領域に適応させる。 我々は,グローバルなシーン理解,ロボットの状態追跡,マルチモーダルアクション生成を統一モデルで実現した,モバイルマニピュレータのための基礎モデルであるOWMM-VLMについて紹介する。 実験により,本モデルは実世界におけるGPT-4oや強ゼロショット一般化など,他の基礎モデルと比較してSOTA性能が向上することを示した。 プロジェクトページはhttps://github.com/HHYHRHY/OWMM-Agentにある。

関連論文リスト

• AI2MMUM: AI-AI Oriented Multi-Modal Universal Model Leveraging Telecom Domain Large Model [8.404195378257178]
  本稿では,AI2MMUM(AI2MMUM)の多モードユニバーサルモデルを提案する。 タスク適応性を高めるために、タスク命令は固定されたタスクキーワードと学習可能な暗黙のプレフィックスプロンプトから構成される。 タスク固有の軽量ヘッドは、タスク目標を直接出力するように設計されている。
  論文  参考訳（メタデータ） (2025-05-15T06:32:59Z)
• Chain-of-Modality: Learning Manipulation Programs from Multimodal Human Videos with Vision-Language-Models [49.4824734958566]
  カオス・オブ・モダリティ(CoM)は、ビジョン言語モデルがマルチモーダルな人間の実演データを推論することを可能にする。 CoMはタスクプランを洗練し、詳細な制御パラメータを生成し、ロボットは単一のマルチモーダルなヒューマンビデオプロンプトに基づいて操作タスクを実行できる。
  論文  参考訳（メタデータ） (2025-04-17T21:31:23Z)
• EMMOE: A Comprehensive Benchmark for Embodied Mobile Manipulation in Open Environments [11.97783742296183]
  Embodied Mobile Manipulation in Open Environmentsは、エージェントがユーザーの指示を解釈し、連続した空間で長時間の日常的なタスクを実行する必要があるベンチマークである。 Open EnvironmentsにおけるEmbodied Mobile Manipulationは、より多様な評価のための3つの新しいメトリクスとともに、ハイレベルで低レベルな実施タスクを統一されたフレームワークにシームレスに統合します。 We design model, a sophisticated agent system, a LLM with Direct Preference Optimization (DPO), light weighted navigation and operation model, and multiple error detection mechanism。
  論文  参考訳（メタデータ） (2025-03-11T16:42:36Z)
• Mobile-Agent-E: Self-Evolving Mobile Assistant for Complex Tasks [85.48034185086169]
  Mobile-Agent-Eは、過去の経験を通じて自己進化できる階層的なマルチエージェントフレームワークである。 Mobile-Agent-Eは従来の最先端アプローチよりも22%の絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2025-01-20T20:35:46Z)
• VisualAgentBench: Towards Large Multimodal Models as Visual Foundation Agents [50.12414817737912]
  大規模マルチモーダルモデル(LMM)は、人工知能の新たな時代を迎え、言語と視覚の融合によって、高い能力を持つVisual Foundation Agentを形成する。 既存のベンチマークでは、複雑な実世界の環境でのLMMの可能性を十分に証明できない。 VisualAgentBench (VAB) は、視覚基礎エージェントとしてLMMを訓練し評価するための先駆的なベンチマークである。
  論文  参考訳（メタデータ） (2024-08-12T17:44:17Z)
• MobileExperts: A Dynamic Tool-Enabled Agent Team in Mobile Devices [17.702068044185086]
  本稿では,ツールの定式化とマルチエージェントコラボレーションを初めて導入するMobileExpertsを紹介する。 我々は,専門家同士の協調関係を確立するための二重層計画機構を開発する。 実験の結果,MobileExpertsはすべてのインテリジェンスレベルにおいて優れた性能を示し,推論コストの22%削減を実現している。
  論文  参考訳（メタデータ） (2024-07-04T13:12:19Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。