論文の概要: Look Before You Move: Agent-Interface-Aligned Supervision for Open-World Mobile Manipulation

• arxiv url: http://arxiv.org/abs/2610.15572v1
• Date: Sun, 11 Oct 2026 12:37:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:48:38.178451
• Title: Look Before You Move: Agent-Interface-Aligned Supervision for Open-World Mobile Manipulation
• Title（参考訳）: 動く前に見る:オープンワールドなモバイル操作のためのエージェントインタフェース付きスーパービジョン
• Abstract要約: オープンワールドのモバイル操作では、ロボットがオブジェクトを探し、接近し、言語命令からターゲットのレセプタクルに移動する必要がある。 既存のパイプラインは、計画された軌跡を高レベルなアクションラベルに変換することが多いが、最短パスの進行は、見る場所を決定するための限られた監督を提供する。 本稿では,AIDAについて紹介する。AIDAは,教師がエージェントのスキルインターフェースを通じて直接選択し,アクションを実行するデータ収集パイプラインである。
• 参考スコア（独自算出の注目度）: 20.555568617501336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-world mobile manipulation requires a robot to find an object, approach it, and move it to a target receptacle from a language instruction. Training vision-language model (VLM) agents for these tasks requires demonstrations of both action selection and active vision. Existing pipelines often convert planned trajectories into high-level action labels, but shortest-path progress provides limited supervision for deciding where to look. We introduce Agent-Interface Data Alignment (AIDA), a data collection pipeline in which a teacher directly selects and executes actions through the deployed agent's skill interface. For mobile manipulation, we design teachers that maintain target visibility, recover lost targets, and approach for picking or placing. We add template-based spatial reasoning supervision and use a shared harness to organize observations, history, and outputs during training and inference. The resulting agent, AIDA-OWMM, achieves 71.76% full-task success on 170 held-out OWMM episodes. Teacher sensitivity analysis shows that active-vision demonstrations improve student success. The simulation-trained agent achieves 38% end-to-end success on a real mobile robot without additional training. Applying AIDA to a navigation subset of EmbodiedBench further demonstrates the pipeline's utility for navigation tasks.
• Abstract（参考訳）: オープンワールドのモバイル操作では、ロボットがオブジェクトを探し、接近し、言語命令からターゲットのレセプタクルに移動する必要がある。 これらのタスクのための視覚言語モデル(VLM)エージェントの訓練には、アクション選択とアクティブビジョンの両方のデモが必要である。 既存のパイプラインは、計画された軌跡を高レベルなアクションラベルに変換することが多いが、最短パスの進行は、見る場所を決定するための限られた監督を提供する。 本稿では,AIDA(Agent-Interface Data Alignment)を紹介する。AIDA(Agent-Interface Data Alignment)は,教師がエージェントのスキルインターフェースを通じて直接,アクションを選択して実行するデータ収集パイプラインである。 モバイル操作では,目標視認性を維持し,失った目標を回収し,選択や配置のアプローチを行う教師を設計する。 テンプレートベースの空間推論の監視を追加し、共有ハーネスを使用して、トレーニングや推論中に観察、履歴、出力を整理する。 結果、AIDA-OWMMは170エピソードで71.76%のフルタスクで成功している。 教師の感度分析は、アクティブビジョンのデモンストレーションが学生の成功を促進することを示している。 シミュレーション訓練されたエージェントは、実際の移動ロボットで38%のエンド・ツー・エンドの成功を、追加のトレーニングなしで達成する。 EmbodiedBenchのナビゲーションサブセットにAIDAを適用することで、ナビゲーションタスクに対するパイプラインの有用性をさらに実証する。

関連論文リスト

• SuperNav: An Agentic Navigation System for Any Task in Any Scene [87.46227831610359]
  汎用サービスロボットは、不慣れな環境で多様な人間の要求を処理できるナビゲーションシステムを必要とする。 SuperNavは、MLLMのナビゲーション固有の微調整なしで、特別なエージェントハーネスを備えた事前訓練されたMLLMを装備する。 SuperNavは、インスタンスレベル、マルチオブジェクト、要求駆動タスクで評価されたベースラインを4つ上回っている。
  論文  参考訳（メタデータ） (2026-10-08T15:19:40Z)
• HarnessVLN: Unifying Training-Free Embodied Navigation through an Agent Harness [30.61739879302674]
  身体的ナビゲーションでは、エージェントは空間観測において指示や目標を下ろす必要がある。 本稿では,ゼロショットでトレーニング不要なフレームワークであるHarnessVLNを紹介した。
  論文  参考訳（メタデータ） (2026-09-14T08:15:56Z)
• Exploratory, Communicative, and Deployable: Vision-Driven Embodied Agents for Open-World Mobile Manipulation [47.58516950734307]
  既存のフレームワークは、しばしば特権化されたシミュレータの状態に依存するか、あるいは完全な命令を仮定し、現実的なデプロイメント課題を回避します。 本稿では,オープンワールドモバイル操作のためのエージェントフレームワークREALを提案する。 我々は、データ収集、教師付き微調整、オンライン強化学習を駆動するための多様なタスク構成を設計する。
  論文  参考訳（メタデータ） (2026-07-15T09:55:45Z)
• GUITrans2Act: Understanding User Operational Behaviors from Mobile GUI Interactions with Vision-Language Models [17.834853391238035]
  Teach VLMは、モバイル画面の軌跡をステップワイドな操作知識に変換するために設計されたコアモデルである。 本稿では,Teach VLMをベースとしたTeach-and-Repeatパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-06-11T02:24:39Z)
• ManiAgent: An Agentic Framework for General Robotic Manipulation [30.154478145473792]
  汎用操作のためのエージェントアーキテクチャであるManiAgentを紹介する。 複数のエージェントは、環境認識、サブタスク分解、アクション生成を行うためのエージェント間通信を含む。 ManiAgentはSimplerEnvベンチマークで86.8%、現実世界のピック・アンド・プレイスタスクで95.8%の成功率を達成した。
  論文  参考訳（メタデータ） (2025-10-13T17:34:48Z)
• Learning Goal-Oriented Language-Guided Navigation with Self-Improving Demonstrations at Scale [90.91312440221306]
  本稿では,自己改善デモを用いた目標言語誘導ナビゲーション学習手法であるSIDを提案する。 具体的には、SIDは環境からサンプリングされた最短経路データの初期エージェントを学習し、このエージェントを利用して新しい探索軌道を生成する。 この反復的な自己改善パイプラインは、新しい環境に容易に拡張できることを示し、その結果、様々な言語誘導ナビゲーションタスク間で実演を行うことができることを示す。
  論文  参考訳（メタデータ） (2025-09-29T15:15:54Z)
• Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration [52.25473993987409]
  モバイルデバイス操作支援のためのマルチエージェントアーキテクチャであるMobile-Agent-v2を提案する。 アーキテクチャは、計画エージェント、決定エージェント、反射エージェントの3つのエージェントから構成される。 単一エージェントアーキテクチャと比較して,Mobile-Agent-v2ではタスク完了率が30%以上向上していることを示す。
  論文  参考訳（メタデータ） (2024-06-03T05:50:00Z)
• Improving Vision-and-Language Navigation by Generating Future-View Image Semantics [96.8435716885159]
  VLN(Vision-and-Language Navigation)は、自然言語命令に基づいてエージェントが環境をナビゲートする必要があるタスクである。 エージェントのドメイン内事前トレーニングにおける3つのプロキシタスクを提案する: Masked Panorama Modeling (MPM)、 Masked Trajectory Modeling (MTM)、Action Prediction with Image Generation (APIG)。 次に、VLNタスク上のエージェントを補助的損失で微調整し、エージェントが生成するビューセマンティクスと次のステップのグラウンド真実ビューセマンティクスとの差を最小限に抑える。
  論文  参考訳（メタデータ） (2023-04-11T00:36:02Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。