論文の概要: Seeing Together: Multi-Robot Cooperative Egocentric Spatial Reasoning with Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2605.18431v2
• Date: Tue, 19 May 2026 05:12:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.57521
• Title: Seeing Together: Multi-Robot Cooperative Egocentric Spatial Reasoning with Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルを用いたマルチロボット協調型空間推論
• Authors: Kunyu Peng, Zhikun Zhou, Kailun Yang, Di Wen, Ruiping Liu, Yufan Chen, Junwei Zheng, Hao Shi, Yi Zhou, M. Saquib Sarfraz, Danda Pani Paudel, Luc Van Gool,
• Abstract要約: 本研究では, きめ細かい協調的空間推論のための枠組みを提案する。 SP-CoRは、動的に認識されるマルチロボットフレームサンプリング、スペクトルおよび物理誘導型ビューフュージョン、および物理に整合した即時蒸留を組み合わせた。 ハビタットでは+3.87%、iGibsonでは+7.12%、微調整ベースラインでは+3.87%である。
• 参考スコア（独自算出の注目度）: 76.29781698910202
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have made substantial progress in egocentric video understanding, but their ability to reason cooperatively from multiple embodied viewpoints remains largely unexplored. We study this problem through multi-robot cooperative dynamic spatial reasoning, where a model must answer spatial, temporal, visibility, and coordination questions by integrating synchronized egocentric videos from a team of moving robots. To support this setting, we introduce CoopSR, the first benchmark for this task, together with EgoTeam, a multi-robot egocentric QA dataset. EgoTeam contains 114,227 QA pairs spanning 19 question types, four difficulty tiers, and three team sizes in Habitat and iGibson, along with a real-world test set of around 2,326 QAs collected using two quadruped robots. We further propose SP-CoR (Spectral and Physics-Informed Cooperative Reasoner), an MLLM framework for fine-grained cooperative spatial reasoning. SP-CoR combines dynamics-aware multi-robot frame sampling, spectral- and physics-guided view fusion, and physics-aligned prompt distillation, enabling the model to benefit from privileged robot-pose supervision during training while requiring only egocentric videos at test time. Across 22 MLLM baselines, SP-CoR consistently improves cooperative reasoning, outperforming the strongest fine-tuned baseline by +3.87% on Habitat and +7.12% on iGibson. It also shows stronger generalization to unseen team sizes and real-world robot tests. Code can be found at https://github.com/KPeng9510/seeing-together.git.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、エゴセントリックなビデオ理解において大きな進歩を遂げてきたが、複数の具体的視点から協調的に考える能力は、まだ明らかにされていない。 本研究では,移動ロボットのチームによる同期型エゴセントリックビデオを統合することで,モデルが空間的,時間的,可視的,協調的な疑問に答えなければならない,多ロボット協調型動的空間推論を用いてこの問題を研究する。 この設定をサポートするために、このタスクの最初のベンチマークであるCoopSRと、マルチロボット中心のQAデータセットであるEgoTeamを紹介します。 EgoTeamには19の質問タイプ、114,227のQAペア、4つの難易度、4つの難易度、そして3つのチームサイズが含まれており、実際のテストセットは2つの四足歩行ロボットを使用して収集された2,326 QAである。 さらに,SP-CoR(Spectral and Physics-Informed Cooperative Reasoner)を提案する。 SP-CoRは、ダイナミックス対応のマルチロボットフレームサンプリング、スペクトルおよび物理誘導型ビューフュージョン、および物理対応の即時蒸留を組み合わせることで、テスト時にエゴセントリックなビデオのみを必要としながら、トレーニング中に特権的なロボット目的の監視の恩恵を受けることができる。 22のMLLMベースラインで、SP-CoRは一貫して協力的推論を改善し、ハビタットでは+3.87%、iGibsonでは+7.12%で最強の微調整ベースラインを上回っている。 また、目に見えないチームサイズや現実世界のロボットテストへの、より強力な一般化も示している。 コードはhttps://github.com/KPeng9510/seeing-together.gitで見ることができる。

関連論文リスト

• M2HRI: An LLM-Driven Multimodal Multi-Agent Framework for Personalized Human-Robot Interaction [5.410329948686681]
  M2HRIは、大きな言語モデルに基づいて構築されたマルチモーダルなマルチエージェントフレームワークで、それぞれのロボットに異なる性格と長期記憶を持たせる。 その結果, エージェントの個性と構造的コーディネーションは, 一貫性と社会的に適切なマルチエージェントHRIに不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-04-13T19:08:05Z)
• MA-EgoQA: Question Answering over Egocentric Videos from Multiple Embodied Agents [54.48066948369172]
  エンボディモデルが強力になるにつれ、人間は将来、職場や自宅で複数のエンボディAIエージェントと協力するようになる。 既存の課題には、ビデオ形式で個々の感覚入力を効果的に圧縮し、伝達することが含まれる。 われわれはまず,複数のエンボディエージェントから同時に収集された複数のロングホライズン・エゴセントリックなビデオを理解するという,新しい問題を正式に定義する。
  論文  参考訳（メタデータ） (2026-03-10T15:48:35Z)
• Leveraging Adaptive Group Negotiation for Heterogeneous Multi-Robot Collaboration with Large Language Models [27.286674175117394]
  大規模言語モデル (LLM) は推論と計画において優れており, 協調制御の可能性については検討されていない。 人間のチームワークに触発されて,マルチロボットコラボレーションのためのLLM間の適応型グループネゴシエーションフレームワークであるCLiMRSを提案する。 この結果から,人間にインスパイアされたグループ形成と交渉の原則を活用することにより,異種多ロボット協調の効率が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2025-12-29T14:50:52Z)
• EgoM2P: Egocentric Multimodal Multitask Pretraining [55.259234688003545]
  大規模なエゴセントリックなマルチモーダルモデルとマルチタスクモデルの構築は、ユニークな課題を示している。 EgoM2Pは、時間的に認識されたマルチモーダルトークンから学習し、エゴセントリックな4D理解のための大規模な汎用モデルをトレーニングするマスク付きモデリングフレームワークである。 私たちはEgoM2Pを完全にオープンソース化し、コミュニティを支援し、エゴセントリックなビジョン研究を前進させます。
  論文  参考訳（メタデータ） (2025-06-09T15:59:25Z)
• RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics [67.11221574129937]
  空間参照は、3D物理世界と相互作用するエンボディロボットの基本的な能力である。 本稿では,まず空間的理解を正確に行うことのできる3次元VLMであるRoboReferを提案する。 RoboReferは、強化微調整による一般化された多段階空間推論を推進している。
  論文  参考訳（メタデータ） (2025-06-04T17:59:27Z)
• A Learning Approach to Robot-Agnostic Force-Guided High Precision Assembly [6.062589413216726]
  本稿では,高精度なロボット組立問題に対する学習手法を提案する。 組立部品が互いに密接な接触関係にあるような,コンタクトリッチなフェーズに着目する。 私たちのトレーニング環境は、エンドエフェクターが特定のロボットにアタッチされないため、ロボットレスです。
  論文  参考訳（メタデータ） (2020-10-15T22:33:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。