論文の概要: MRPilot: Supervising and Intervening LLM-Based Multi-Robot Teams through Mixed Reality

• arxiv url: http://arxiv.org/abs/2610.07477v1
• Date: Mon, 05 Oct 2026 22:40:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.696774
• Title: MRPilot: Supervising and Intervening LLM-Based Multi-Robot Teams through Mixed Reality
• Title（参考訳）: MRPilot:Mixed RealityによるLLMベースのマルチロボットチームの監視と介入
• Abstract要約: 大型言語モデル(LLM)は、ユーザーが自然言語を介して異種マルチロボットシステム(MRS)をダイレクトすることができる。 我々はMRPilotを開発した。MRPilotは4段階にわたる監視と介入の複合現実感システムである。
• 参考スコア（独自算出の注目度）: 11.815710848639723
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) let users direct heterogeneous multi-robot systems (MRS) through natural language, but make task interpretation, robot assignment, and coordination difficult to inspect and change. Based on a formative study with 12 non-expert users, we developed MRPilot, a mixed reality system organized around four stages of supervision and intervention. MRPilot represents robot-team plans and execution states as structured commitments shared across synchronized situated and overview views. Across four stages, it helps users resolve ambiguous references (Forming), review plans before execution (Reviewing), monitor distributed execution (Following), and make robot-level or team-level changes when problems arise (Repairing). In a within-subjects study with 20 participants in a virtual reality-simulated home, MRPilot reduced workload, increased situational awareness, transparency, trust, and perceived control compared with a conventional LLM-based conversational interface using the same LLM planner and robot capabilities. We provide design implications for multi-scale intervention, adaptive supervision, and calibrated reliance in LLM-based MRS.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、ユーザーが自然言語を介して異種マルチロボットシステム(MRS)をダイレクトすることができるが、タスクの解釈、ロボットの割り当て、検査や変更が困難である。 12名の非専門家を対象にしたフォーマティブな研究に基づいて,4段階の監視と介入の複合現実システムMRPilotを開発した。 MRPilotは、ロボットチームの計画と実行状態を表す。 4段階にわたって、曖昧な参照(フォーミング)の解決、実行前の計画のレビュー(リビュー)、分散実行の監視(フォロー)、問題が発生した時にロボットレベルまたはチームレベルの変更(リペア)を支援する。 MRPilotは、仮想現実シミュレーションホームの参加者20名を対象に、従来のLLMベースの会話インタフェースと比較して、作業負荷を削減し、状況認識、透明性、信頼、知覚制御を向上した。 LLMベースのMSSにおけるマルチスケール介入、適応的監督、校正的信頼のための設計上の意味を提供する。

関連論文リスト

• D-VLC: Decentralized Vision-Language Collaboration for Heterogeneous Embodied Multi-Robot Systems in Unknown Environments [10.393866368123946]
  マルチロボットシステムは、並列協調と補完機能によって複雑なタスク実行の効率を向上させることができる。 本稿では,分散非同期推論,軽量情報共有,機能意識の協調,統一されたアクションインターフェースを組み合わせたフレームワークを提案する。 様々なシナリオと複数のVLMにわたる実験では、成功率は70%を超え、完成までの時間は幾何学的なグリーディベースラインに比べて55.8%も短縮された。
  論文  参考訳（メタデータ） (2026-07-31T04:20:32Z)
• ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning [74.58666091522198]
  非専門家による直感的なロボットプログラミングのためのフレームワークを提案する。 ロボットオペレーティングシステム(ROS)からの自然言語のプロンプトと文脈情報を活用する 我々のシステムは,大規模言語モデル (LLM) を統合し,非専門家がチャットインタフェースを通じてシステムにタスク要求を記述できるようにする。
  論文  参考訳（メタデータ） (2024-06-28T08:28:38Z)
• Large Language Models for Robotics: Opportunities, Challenges, and Perspectives [46.57277568357048]
  大規模言語モデル(LLM)は大幅に拡張され、様々な領域にまたがって統合されている。 ロボットが複雑な環境と対話する具体的タスクでは、テキストのみのLLMは、ロボットの視覚知覚との互換性が欠如しているため、しばしば課題に直面している。 本稿では,マルチモーダル GPT-4V を利用して,自然言語命令とロボットの視覚認識を組み合わせることで,具体的タスク計画を強化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-09T03:22:16Z)
• LLMR: Real-time Prompting of Interactive Worlds using Large Language Models [45.87888748442536]
  Large Language Model for Mixed Reality (LLMR)は、インタラクティブなMixed Reality体験のリアルタイム作成と修正のためのフレームワークである。 私たちのフレームワークはテキストインタラクションとUnityゲームエンジンに依存しています。 LLMRは標準のGPT-4を平均誤差率で4倍に上回る。
  論文  参考訳（メタデータ） (2023-09-21T17:37:01Z)
• Chat with the Environment: Interactive Multimodal Perception Using Large Language Models [19.623070762485494]
  大型言語モデル(LLM)は、数発のロボット計画において顕著な推論能力を示している。 本研究は,LLMがマルチモーダル環境下での対話型ロボットの動作を制御し,高レベルな計画と推論能力を提供することを示す。
  論文  参考訳（メタデータ） (2023-03-14T23:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。