論文の概要: MM-ABC: Towards Generalist Mobile Manipulation via Seeing, Coordinating and Imagining

• arxiv url: http://arxiv.org/abs/2609.35652v1
• Date: Mon, 28 Sep 2026 17:19:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:59:34.66615
• Title: MM-ABC: Towards Generalist Mobile Manipulation via Seeing, Coordinating and Imagining
• Title（参考訳）: MM-ABC: 閲覧・コーディネート・イマジニングによる一般モバイル操作に向けて
• Abstract要約: 本稿では,Seeing,Coordinating,Imagining Arm-Base Collaborationを中心に構築された基礎モデルであるMM-ABCを紹介する。 MM-ABCは空間知覚のためのスパースマルチレベルVLM機能を組み合わせる。 MM-ABCはEBenchで44.71%、RoboCasa365で61.2%、LIBEROで99.1%、LIBERO-Plusで82.8%、現実世界で5つのタスクで83%成功している。
• 参考スコア（独自算出の注目度）: 17.939203837079493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mobile manipulation extends robot interaction beyond a fixed kinematic workspace by making the reachable region itself controllable. This flexibility introduces two central challenges: spatially grounded perception under continuous ego-motion and coordinated control of heterogeneous arm and base actions. Existing approaches strengthen geometry through explicit 3D representations or predictive world models, and often decouple mobility and manipulation into separate action streams. We argue that effective mobile manipulation requires not only decoupling, but also representations that support efficient cross-stream collaboration. We present MM-ABC, a foundation model built around Seeing, Coordinating, and Imagining Arm-Base Collaboration. MM-ABC combines sparse multi-level VLM features for spatial perception; a training-only future branch that uses world imagination and geometric intent as extra supervision, strengthening perception and manipulation-intent prediction and improving the overall learning signal; and MM-APT, which coordinates separate manipulation and mobility streams through masked joint attention and clean-action x-prediction. In controlled ablations, replacing clean-action prediction with velocity prediction lowers success on RoboCasa365 composite-seen tasks from 32.8% to 29.2%, and removing future supervision or multilevel conditioning causes larger drops. We pretrain MM-ABC on 5,000+ hours of heterogeneous robot data spanning 400K+ episodes, 12 datasets, and 17 embodiments. Experiments cover EBench, RoboCasa365, ManiSkill-HAB, LIBERO, LIBERO-Plus, and real-world mobile manipulation. MM-ABC achieves 44.71% success on EBench, 61.2% on RoboCasa365, 99.1% on LIBERO, 82.8% on LIBERO-Plus without perturbation training, and 83% mean success on five real-world tasks.
• Abstract（参考訳）: 移動操作は、到達可能な領域自体を制御可能にすることで、固定された運動空間を越えてロボットのインタラクションを拡張する。 この柔軟性は、連続的な自我運動の下で空間的に接地された知覚と、異種腕とベースアクションの協調制御という2つの中心的な課題をもたらす。 既存のアプローチは、明示的な3D表現や予測的世界モデルを通じて幾何学を強化し、しばしばモビリティと操作を別々のアクションストリームに分離する。 効率的なモバイル操作には、疎結合だけでなく、効率的なクロスストリームコラボレーションをサポートする表現も必要である、と我々は主張する。 本稿では,Seeing,Coordinating,Imagining Arm-Base Collaborationを中心に構築された基礎モデルであるMM-ABCを紹介する。 MM-ABCは空間知覚のためのスパースマルチレベルVLM機能と、世界想像力と幾何学的意図を余分な監視として利用し、知覚と操作意図の予測を強化し、全体的な学習信号を改善するトレーニングのみの将来のブランチと、マスク付き共同注意とクリーンアクションx-Predictionを通じて、個別の操作と移動ストリームを調整するMM-APTを組み合わせた。 制御アブレーションでは、クリーンアクション予測をベロシティ予測に置き換えることで、RoboCasa365複合監視タスクの成功を32.8%から29.2%に低下させ、将来の監視やマルチレベル条件付けを取り除くことで大きな低下を引き起こす。 我々は400K以上のエピソード、12のデータセット、17のエボディメントにまたがる5000時間以上の異種ロボットデータに対して、MM-ABCを事前訓練した。 実験では、EBench、RoboCasa365、ManiSkill-HAB、LIBERO、LIBERO-Plus、現実世界のモバイル操作がカバーされている。 MM-ABCはEBenchで44.71%、RoboCasa365で61.2%、LIBEROで99.1%、LIBERO-Plusで82.8%、現実世界で5つのタスクで83%成功している。

関連論文リスト

• Robo-Harness K1: Harnessing Robot-Use Agents via Perception Augmentation [61.15247763568461]
  本稿では,ロボット利用エージェントフレームワークであるRobo-Harness K1を紹介する。 一致した LIBERO-PRO タスクでは、Gemini 3.7 Flash with K1 が 77.8% に達し、GPT-6 Astra の 61.1% を RGB のみのハーネスで上回った。 RoboTwin では Easy で 32.0%、Hard で 28.0% を達成し、視覚的および環境的な摂動に対するレジリエンスを示している。
  論文  参考訳（メタデータ） (2026-09-24T11:16:18Z)
• Skel-WAM: A Hand-Skeleton-Conditioned World Action Model for Human-to-Robot Manipulation Transfer [61.50662046794264]
  Skel-WAMは,ハンドスケルトン・モーション・インタフェースの統一による差異をブリッジする世界アクション・モデルである。 主な洞察は、人間の動きとロボットの動きを共通のハンドトポロジーで調整し、シーン内の地面の動きを、明示的な手の動きをエンコードする2.5Dキーポイントと組み合わせることである。 ビデオとキーポイントの専門家は、Mixture-of-Transformersを通じて視覚と骨格のダイナミクスを共同で学習し、ロボット訓練されたアクションエキスパートはこれらの予測を実行可能なコントロールにマップする。
  論文  参考訳（メタデータ） (2026-09-18T09:06:15Z)
• AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
  汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。 アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。 本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
  論文  参考訳（メタデータ） (2026-09-16T14:07:06Z)
• WholeBodyWAM: Generalizing Pre-trained World-Action Priors to Humanoid Loco-Manipulation via WBC-Grounded Coordination [7.8657301827912]
  WholeBodyWAMは、将来の視覚力学、操作動作、およびヒューマノイドロコ操作のための全身制御意図を予測する。 シミュレーションタスクの成功率は91.9%で、実際のアウト・オブ・ディストリビューションタスクの進捗は0.23改善している。 これらの結果は、スケーラブルなヒューマノイド全体インテリジェンスへの道のりを示唆している。
  論文  参考訳（メタデータ） (2026-09-15T05:03:49Z)
• GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation [63.853929983870955]
  本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。 制御指向オートエンコーダ(CoAE)、ワンステップビジュアルプランナー(SVP)、逆ダイナミクスモデル(IDM)を組み合わせている。 それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
  論文  参考訳（メタデータ） (2026-09-04T17:16:48Z)
• ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training [93.39352617578857]
  大規模ビデオから一般化可能なワールドアクションモデルを学ぶためのフレームワークであるZimaBlueを紹介した。 ZimaBlueは3段階のトレーニングカリキュラムに従っており、まず大規模な人間とロボットの自我中心のビデオで因果的エンボディドビデオの事前トレーニングを行う。 ZimaBlueはさらに複数のベンチマークで高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-08-31T18:09:52Z)
• DECOWAM: Decoupled Whole-Body World-Action Model for Legged Mobile Manipulation [9.154987050049268]
  DeCOWAMは、カメラのエゴモーションをベースアクションとアームアクションとを分離する全身世界アクションモデルである。 固定されたリプレイプロトコルでは、DECWAMはFastWAM上での将来のビデオとアクションの予測を改善し、25.95Mのトレーニング可能な適応パラメータでアクションMSEを21.7%削減した。 これらの結果から,運動視点下でのパラメータ効率のよい共同視覚予測と全身制御を支援することが示唆された。
  論文  参考訳（メタデータ） (2026-08-20T14:44:11Z)
• SABER: A Scalable Action-Based Embodied Dataset for Real-World VLA Adaptation [0.0]
  SABERは、100時間以上の店内での自然な捕獲から構築された、高忠実な小売ロボティクスアクションデータセットである。 3つのアクション表現ストリームにわたる44.8Kのトレーニングサンプルを含んでいる。 10の小売業での平均成功率は29.3%である。
  論文  参考訳（メタデータ） (2026-05-10T15:51:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。