論文の概要: MoPA: Coordinated Mobile Manipulation via Subsystem-Specific Perception Alignment
- arxiv url: http://arxiv.org/abs/2609.12081v2
- Date: Mon, 14 Sep 2026 14:35:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.025066
- Title: MoPA: Coordinated Mobile Manipulation via Subsystem-Specific Perception Alignment
- Title(参考訳): MoPA: サブシステム固有の知覚アライメントによる協調移動操作
- Abstract要約: 我々は、知覚条件をモビリティと操作と整合させるフレームワークであるMoPAを提案する。
ManiSkill-HABベンチマークでは、MoPAは3つのタスクスイートすべてで最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 35.668130105419415
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mobile manipulation requires perceptual evidence at different spatial scales for base motion and arm control, while the two action modalities remain kinematically coupled. Existing policies often employ specialized action generation for different subsystems but condition heterogeneous action branches on a shared perceptual representation, leaving subsystem-specific perception-action correspondence implicit. We present MoPA, a framework that aligns perceptual conditioning with mobility and manipulation while preserving coordination at the action level. Dual Perceptual Streams employ two mutually masked query banks to extract separate perceptual representations from a shared vision-language context. Perception2Action Adaptation jointly updates each query bank and its corresponding action stream at every layer of a structured Mixture-of-Transformers decoder, while enabling information exchange between the two action streams. Coupled conditional flow matching learns a joint vector field for coordinated generation of both action chunks. On the ManiSkill-HAB benchmark, MoPA achieves state-of-the-art performance across all three task suites. Across four real-world tasks, MoPA achieves a mean full-task success rate of 76.3%, outperforming the best baseline by 12.5 percentage points. Ablation studies and further analyses validate the effectiveness of the proposed design. Website is available at: https://mopa-policy.github.io/.
- Abstract(参考訳): 移動操作には、ベースモーションとアームコントロールの異なる空間スケールでの知覚的証拠が必要であるが、2つのアクションモーダルはキネマティックに結合されている。
既存のポリシーは、しばしば異なるサブシステムに対して特別なアクション生成を用いるが、共有された知覚表現に異質なアクション分岐を条件とし、サブシステム固有の知覚-行動対応を暗黙的に残す。
動作レベルでの協調を保ちながら、知覚的条件付けとモビリティと操作を協調するフレームワークであるMoPAを提案する。
デュアルパーセプチュアルストリームは、2つの相互マスキングされたクエリバンクを使用して、共有視覚言語コンテキストから別々のパーセプティブ表現を抽出する。
Perception2Action Adaptationは、各クエリバンクとその対応するアクションストリームを、構造化されたMixture-of-Transformersデコーダの各レイヤで共同で更新すると同時に、2つのアクションストリーム間の情報交換を可能にする。
結合条件付きフローマッチングは、両方のアクションチャンクの協調生成のためのジョイントベクトル場を学習する。
ManiSkill-HABベンチマークでは、MoPAは3つのタスクスイートすべてで最先端のパフォーマンスを達成する。
実際の4つのタスクの中で、MoPAは平均76.3%のフルタスク成功率を達成し、ベースラインを12.5ポイント上回っている。
アブレーション研究とさらなる分析により,提案設計の有効性が検証された。
Webサイトは、https://mopa-policy.github.io/.comで入手できる。
関連論文リスト
- Rethinking Air-Ground Collaboration: A Progressive Cross-Task Benchmark and Socialized Learning Framework [12.881497228808078]
社会的共知覚(Socialized Co-Perception, SCP)は、航空的グローバルローカライゼーションからグラウンドターゲット・アソシエーション、アイデンティティ・アウェア・パーシングまで、段階的にコラボレーションを組織する。
SCPは3.73%の進化的増加と7.86%のダウンストリーム性能向上を実現している。
論文 参考訳(メタデータ) (2026-06-17T09:17:55Z) - See Selectively, Act Adaptively: Dual-Level Structural Decomposition for Bimanual Robot Manipulation [1.7587442088965224]
本稿では,デュアルレベル構造分解に基づく双方向操作フレームワークを提案する。
提案手法は,RoboTwin 2.0における6つの実時間操作タスクと3つの長軸実世界タスクにおいて評価される。
論文 参考訳(メタデータ) (2026-06-11T12:33:55Z) - HOI-aware Adaptive Network for Weakly-supervised Action Segmentation [64.63922024617493]
AdaAct と呼ばれる HOI 対応ネットワークを提案する。
我々は、時間的大局的だが空間的局所的な人間-物体相互作用(HOI)をアクションセグメンテーションのためのビデオレベルの事前知識として活用する。
論文 参考訳(メタデータ) (2026-04-29T02:11:51Z) - Attention-Guided Dual-Stream Learning for Group Engagement Recognition: Fusing Transformer-Encoded Motion Dynamics with Scene Context via Adaptive Gating [4.108374141003715]
学生参加は集団活動における学習成果の向上に不可欠である。
ほとんどの自動エンゲージメント認識方法は、オンライン教室や個人レベルでのエンゲージメントを推定するために設計されている。
クラス内ビデオからグループレベルのエンゲージメント認識を実現するための新しい2ストリームフレームワークであるDualEngageを提案する。
論文 参考訳(メタデータ) (2026-04-11T07:51:28Z) - Dual-Stream Alignment for Action Segmentation [37.24437077331131]
アクションセグメンテーションは、連続したビデオストリームで特定のアクションがいつどこで発生するかを特定する。
最近の研究は、アクション性能を向上させるためにアクションワイドな特徴を学習する2ストリーム方式に移行している。
本稿では,Dual-Stream Alignment Network (DSA Net)を提案する。
論文 参考訳(メタデータ) (2025-10-09T00:59:17Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳(メタデータ) (2023-05-17T14:30:11Z) - Graph Convolutional Module for Temporal Action Localization in Videos [142.5947904572949]
アクション・ユニット間の関係は、アクション・ローカライゼーションにおいて重要な役割を果たすと主張する。
より強力なアクション検出器は、各アクションユニットの局所的な内容をキャプチャするだけでなく、関連するコンテキストに関する広い視野を許容するべきである。
本稿では,既存の動作ローカライズ手法に簡単にプラグイン可能な汎用グラフ畳み込みモジュール(GCM)を提案する。
論文 参考訳(メタデータ) (2021-12-01T06:36:59Z) - A Co-Interactive Transformer for Joint Slot Filling and Intent Detection [61.109486326954205]
音声言語理解システム(SLU)を構築する上では,インテント検出とスロットフィリングが主要な2つのタスクである。
以前の研究では、2つのタスクを個別にモデル化するか、インテントからスロットへの単一の情報フローのみを考慮していた。
本稿では,2つのタスク間の相互影響を同時に検討するコ・インターアクティブ・トランスフォーマーを提案する。
論文 参考訳(メタデータ) (2020-10-08T10:16:52Z) - DCR-Net: A Deep Co-Interactive Relation Network for Joint Dialog Act
Recognition and Sentiment Classification [77.59549450705384]
ダイアログシステムでは、ダイアログアクト認識と感情分類は2つの相関タスクである。
既存のシステムのほとんどは、それらを別々のタスクとして扱うか、単に2つのタスクを一緒にモデル化するだけです。
本稿では,2つのタスク間の相互作用をモデル化するディープ・コ・インタラクティブ・リレーショナル・ネットワーク(DCR-Net)を提案する。
論文 参考訳(メタデータ) (2020-08-16T14:13:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。