論文の概要: XR-DT: Extended Reality-Enhanced Digital Twin for Agentic Mobile Robots

• arxiv url: http://arxiv.org/abs/2512.05270v1
• Date: Thu, 04 Dec 2025 21:49:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-13 22:40:56.82241
• Title: XR-DT: Extended Reality-Enhanced Digital Twin for Agentic Mobile Robots
• Title（参考訳）: XR-DT:エージェント移動ロボットのための拡張現実性強化型デジタルツイン
• Authors: Tianyi Wang, Jiseop Byeon, Ahmad Yehia, Huihai Wang, Yiming Xu, Tianyi Zeng, Ziran Wang, Junfeng Jiao, Christian Claudel,
• Abstract要約: 本稿では,エージェント移動ロボットのためのeXtended Reality-enhanced Digital TwinフレームワークであるXR-DTを提案する。 人間の意図,環境力学,ロボット認知をXR-DTフレームワークに組み込むことで,本システムは解釈可能,信頼性,適応的HRIを実現する。
• 参考スコア（独自算出の注目度）: 10.083050242188422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As mobile robots increasingly operate alongside humans in shared workspaces, ensuring safe, efficient, and interpretable Human-Robot Interaction (HRI) has become a pressing challenge. While substantial progress has been devoted to human behavior prediction, limited attention has been paid to how humans perceive, interpret, and trust robots' inferences, impeding deployment in safety-critical and socially embedded environments. This paper presents XR-DT, an eXtended Reality-enhanced Digital Twin framework for agentic mobile robots, that bridges physical and virtual spaces to enable bi-directional understanding between humans and robots. Our hierarchical XR-DT architecture integrates virtual-, augmented-, and mixed-reality layers, fusing real-time sensor data, simulated environments in the Unity game engine, and human feedback captured through wearable AR devices. Within this framework, we design an agentic mobile robot system with a unified diffusion policy for context-aware task adaptation. We further propose a chain-of-thought prompting mechanism that allows multimodal large language models to reason over human instructions and environmental context, while leveraging an AutoGen-based multi-agent coordination layer to enhance robustness and collaboration in dynamic tasks. Initial experimental results demonstrate accurate human and robot trajectory prediction, validating the XR-DT framework's effectiveness in HRI tasks. By embedding human intention, environmental dynamics, and robot cognition into the XR-DT framework, our system enables interpretable, trustworthy, and adaptive HRI.
• Abstract（参考訳）: 移動ロボットが共有ワークスペースで人間と共同で作業するようになり、安全、効率的、解釈可能なヒューマン・ロボット・インタラクション(HRI)の確保が課題となっている。 人間の行動予測にはかなりの進歩があったが、人間がどのようにロボットの推論を知覚し、解釈し、信頼し、安全クリティカルで社会的に埋め込まれた環境への展開を妨げるかという点に、限られた注意が払われている。 本稿では,エージェント移動ロボットのためのeXtended Reality-enhanced Digital TwinフレームワークであるXR-DTを提案する。 我々の階層型XR-DTアーキテクチャは、仮想層、拡張現実層、混合現実層を統合し、リアルタイムセンサーデータを融合し、Unityゲームエンジンのシミュレーション環境と、ウェアラブルARデバイスを通じてキャプチャされた人間のフィードバックを統合します。 本研究では,コンテキスト認識型タスク適応のための統合拡散ポリシを備えたエージェント型移動ロボットシステムを設計する。 さらに,マルチモーダルな大規模言語モデルによるヒューマンインストラクションと環境コンテキストの推論を可能にするチェーン・オブ・シンセサイティング機構を提案し,その一方で,AutoGenベースのマルチエージェント協調層を活用して動的タスクにおける堅牢性と協調性を高める。 最初の実験結果は、人間とロボットの軌道予測が正確であることを示し、XR-DTフレームワークがHRIタスクにおいて有効であることを検証した。 人間の意図,環境力学,ロボット認知をXR-DTフレームワークに組み込むことで,本システムは解釈可能,信頼性,適応的HRIを実現する。

関連論文リスト

• HHI-Assist: A Dataset and Benchmark of Human-Human Interaction in Physical Assistance Scenario [63.77482302352545]
  HHI-Assist(ヒヒ・アシスト)は、人間の介助作業における人間のインタラクションのモーションキャプチャークリップからなるデータセットである。 私たちの研究は、ロボット支援ポリシーを大幅に強化する可能性がある。
  論文  参考訳（メタデータ） (2025-09-12T09:38:17Z)
• Towards Immersive Human-X Interaction: A Real-Time Framework for Physically Plausible Motion Synthesis [51.95817740348585]
  Human-Xは、様々な実体をまたいだ没入的で物理的に妥当なヒューマンインタラクションを可能にするために設計された、新しいフレームワークである。 本手法は, 自己回帰型反応拡散プランナを用いて, リアルタイムに反応と反応を同時予測する。 我々のフレームワークは、人間とロボットのインタラクションのための仮想現実インターフェースを含む、現実世界のアプリケーションで検証されている。
  論文  参考訳（メタデータ） (2025-08-04T06:35:48Z)
• Recognizing Actions from Robotic View for Natural Human-Robot Interaction [52.00935005918032]
  自然人-ロボットインタラクション(Natural Human-Robot Interaction, N-HRI)は、ロボット自身が動いているか静止しているかに関わらず、ロボットが様々な距離と状態で人間の行動を認識することを要求する。 N-HRIの既存のベンチマークは、限られたデータ、モダリティ、タスクカテゴリ、主題や環境の多様性のために、N-HRIのユニークな複雑さに対処できない。 モバイルサービスロボットで広く使われている知覚中心ロボットビューのための大規模データセット(Action from Robotic View)を紹介する。
  論文  参考訳（メタデータ） (2025-07-30T09:48:34Z)
• GNN-based Decentralized Perception in Multirobot Systems for Predicting Worker Actions [12.260881600042374]
  本稿では,移動ロボットが人間の行動に関する情報を分散的に理解し,共有することのできる認識フレームワークを提案する。 スウォームにインスパイアされた意思決定プロセスは、すべてのロボットが人間の行動の統一的な解釈に合意することを保証するために使用される。
  論文  参考訳（メタデータ） (2025-01-08T00:06:38Z)
• Robot Interaction Behavior Generation based on Social Motion Forecasting for Human-Robot Interaction [9.806227900768926]
  本稿では,共有ロボット表現空間における社会的動き予測のモデル化を提案する。 ECHOは上記の共有空間で活動し、社会的シナリオで遭遇したエージェントの将来の動きを予測する。 我々は,多対人動作予測タスクにおけるモデルの評価を行い,最先端の性能を大きなマージンで獲得する。
  論文  参考訳（メタデータ） (2024-02-07T11:37:14Z)
• Agent AI: Surveying the Horizons of Multimodal Interaction [83.18367129924997]
  エージェントAI(Agent AI)とは、視覚刺激や言語入力、その他の環境データを知覚できる対話型システムである。 我々は,バーチャルリアリティやシミュレートされたシーンを容易に作成し,仮想環境内に具体化されたエージェントと対話できる未来を構想する。
  論文  参考訳（メタデータ） (2024-01-07T19:11:18Z)
• Regularized Deep Signed Distance Fields for Reactive Motion Generation [30.792481441975585]
  距離に基づく制約は、ロボットが自分の行動を計画し、安全に行動できるようにするための基本となる。 本研究では,任意のスケールでスムーズな距離場を計算できる単一暗黙関数ReDSDFを提案する。 共有作業空間における全身制御(WBC)と安全なヒューマンロボットインタラクション(HRI)のための代表的タスクにおけるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-03-09T14:21:32Z)
• Spatial Computing and Intuitive Interaction: Bringing Mixed Reality and Robotics Together [68.44697646919515]
  本稿では,空間コンピューティングを応用し,新しいロボットのユースケースを実現するためのロボットシステムについて述べる。 空間コンピューティングとエゴセントリックな感覚を複合現実感デバイスに組み合わせることで、人間の行動をキャプチャして理解し、それらを空間的な意味を持つ行動に変換することができる。
  論文  参考訳（メタデータ） (2022-02-03T10:04:26Z)
• HARPS: An Online POMDP Framework for Human-Assisted Robotic Planning and Sensing [1.3678064890824186]
  HARPS(Human Assisted Robotic Planning and Sensing)フレームワークは、ロボットチームにおけるアクティブなセマンティックセンシングと計画のためのフレームワークである。 このアプローチにより、人間が不規則にモデル構造を強制し、不確実な環境で意味的なソフトデータの範囲を拡張することができる。 大規模部分構造環境におけるUAV対応ターゲット探索アプリケーションのシミュレーションは、時間と信念状態の推定において著しく改善されている。
  論文  参考訳（メタデータ） (2021-10-20T00:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。