論文の概要: IRIS: An Immersive Robot Interaction System

• arxiv url: http://arxiv.org/abs/2502.03297v2
• Date: Mon, 17 Feb 2025 11:42:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:03:10.561902
• Title: IRIS: An Immersive Robot Interaction System
• Title（参考訳）: IRIS: 没入型ロボットインタラクションシステム
• Authors: Xinkai Jiang, Qihao Yuan, Enes Ulas Dincer, Hongyi Zhou, Ge Li, Xueyin Li, Julius Haag, Nicolas Schreiber, Kailai Li, Gerhard Neumann, Rudolf Lioutikov,
• Abstract要約: IRISは、複数のシミュレータ、ベンチマーク、さらにはヘッドセットもすでにサポートしている、新しくて容易に拡張可能なフレームワークである。 統一されたシーン仕様はシミュレータや現実世界のセンサーから直接生成され、XRヘッドセットに送信され、XRで同じシーンを生成する。 IRISはUnity Frameworkをサポートするあらゆるデバイスにデプロイできる。
• 参考スコア（独自算出の注目度）: 21.524791747174188
• License:
• Abstract: This paper introduces IRIS, an immersive Robot Interaction System leveraging Extended Reality (XR), designed for robot data collection and interaction across multiple simulators, benchmarks, and real-world scenarios. While existing XR-based data collection systems provide efficient and intuitive solutions for large-scale data collection, they are often challenging to reproduce and reuse. This limitation arises because current systems are highly tailored to simulator-specific use cases and environments. IRIS is a novel, easily extendable framework that already supports multiple simulators, benchmarks, and even headsets. Furthermore, IRIS is able to include additional information from real-world sensors, such as point clouds captured through depth cameras. A unified scene specification is generated directly from simulators or real-world sensors and transmitted to XR headsets, creating identical scenes in XR. This specification allows IRIS to support any of the objects, assets, and robots provided by the simulators. In addition, IRIS introduces shared spatial anchors and a robust communication protocol that links simulations between multiple XR headsets. This feature enables multiple XR headsets to share a synchronized scene, facilitating collaborative and multi-user data collection. IRIS can be deployed on any device that supports the Unity Framework, encompassing the vast majority of commercially available headsets. In this work, IRIS was deployed and tested on the Meta Quest 3 and the HoloLens 2. IRIS showcased its versatility across a wide range of real-world and simulated scenarios, using current popular robot simulators such as MuJoCo, IsaacSim, CoppeliaSim, and Genesis. In addition, a user study evaluates IRIS on a data collection task for the LIBERO benchmark. The study shows that IRIS significantly outperforms the baseline in both objective and subjective metrics.
• Abstract（参考訳）: 本稿では,複数のシミュレータ,ベンチマーク,実世界のシナリオにまたがるロボットデータ収集とインタラクションを目的とした,拡張現実性(XR)を活用した没入型ロボットインタラクションシステムであるIRISを紹介する。 既存のXRベースのデータ収集システムは、大規模データ収集のための効率的で直感的なソリューションを提供するが、しばしば再生と再利用が困難である。 この制限は、現在のシステムはシミュレータ固有のユースケースや環境に非常に適しているため生じる。 IRISは、複数のシミュレータ、ベンチマーク、さらにはヘッドセットもすでにサポートしている、新しくて容易に拡張可能なフレームワークである。 さらにIRISは、深度カメラを通して捉えた点雲など、現実世界のセンサーからの追加情報を含めることができる。 統一されたシーン仕様はシミュレータや現実世界のセンサーから直接生成され、XRヘッドセットに送信され、XRで同じシーンを生成する。 この仕様により、IRISはシミュレーターが提供するあらゆるオブジェクト、資産、ロボットをサポートすることができる。 さらに、IRISは共有空間アンカーと、複数のXRヘッドセット間のシミュレーションをリンクする堅牢な通信プロトコルを導入した。 この機能により、複数のXRヘッドセットが同期シーンを共有することができ、コラボレーティブおよびマルチユーザデータ収集が容易になる。 IRISはUnity Frameworkをサポートするあらゆるデバイスにデプロイできる。 この作業では、IRISはMeta Quest 3とHoloLens 2で展開、テストされた。 IRISは、MuJoCo、IsaacSim、CoppeliaSim、Genesisといった、現在の一般的なロボットシミュレータを使って、幅広い現実世界およびシミュレーションシナリオでその汎用性を披露した。 さらに,LIBEROベンチマークのデータ収集タスクにおけるIRISの評価を行った。 この研究は、IRISが客観的指標と主観的指標の両方において、ベースラインを著しく上回っていることを示している。

関連論文リスト

• XLD: A Cross-Lane Dataset for Benchmarking Novel Driving View Synthesis [84.23233209017192]
  本稿では,自律走行シミュレーションに特化して設計された新しい駆動ビュー合成データセットとベンチマークを提案する。 データセットには、トレーニング軌跡から1-4mずれて取得した画像のテストが含まれているため、ユニークなものだ。 我々は、フロントオンリーおよびマルチカメラ設定下で、既存のNVSアプローチを評価するための最初の現実的なベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-06-26T14:00:21Z)
• VBR: A Vision Benchmark in Rome [1.71787484850503]
  本稿では,RGBデータ,3次元点雲,IMU,GPSデータを含む,ローマで収集された視覚・知覚研究データセットについて述べる。 我々は、自律ロボット工学とコンピュータビジョンの研究を進めるために、視覚計測とSLAMをターゲットにした新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-04-17T12:34:49Z)
• MTMMC: A Large-Scale Real-World Multi-Modal Camera Tracking Benchmark [63.878793340338035]
  マルチターゲットマルチカメラトラッキングは、複数のカメラからのビデオストリームを使用して個人を特定し、追跡する重要なタスクである。 このタスクの既存のデータセットは、制御されたカメラネットワーク設定内で合成または人工的に構築される。 我々は16台のマルチモーダルカメラで2つの異なる環境でキャプチャされた長いビデオシーケンスを含む実世界の大規模データセットであるMTMMCを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T15:08:37Z)
• Aria-NeRF: Multimodal Egocentric View Synthesis [17.0554791846124]
  ニューラルラジアンス場(NeRFs)にインスパイアされた可変体積線トレーシングに基づく、エゴセントリックなデータから訓練されたリッチでマルチモーダルなシーンモデルの開発における研究の加速を目指す。 このデータセットは、RGB画像、アイトラッキングカメラの映像、マイクからの音声記録、気圧計による気圧測定、GPSによる位置座標、デュアル周波数IMUデータセット(1kHzと800Hz)の情報を含む、総合的なセンサデータの収集を提供する。 このデータセットで捉えた多様なデータモダリティと現実世界のコンテキストは、人間の行動に対する理解を深め、より没入的でインテリジェントな体験を可能にするための堅牢な基盤となる。
  論文  参考訳（メタデータ） (2023-11-11T01:56:35Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• UniSim: A Neural Closed-Loop Sensor Simulator [76.79818601389992]
  センサ搭載車両によって記録された1つのログをキャプチャする、ニューラルネットワークシミュレータUniSimを提示する。 UniSimは、静的バックグラウンドと動的アクターの両方を再構築するために、ニューラルネットワーク機能グリッドを構築する。 動的オブジェクトの学習可能な事前情報を組み込んで、畳み込みネットワークを利用して未確認領域を完成させる。
  論文  参考訳（メタデータ） (2023-08-03T17:56:06Z)
• Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
  任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-04-14T05:30:02Z)
• IBISCape: A Simulated Benchmark for multi-modal SLAM Systems Evaluation in Large-scale Dynamic Environments [0.0]
  IBISCapeは高忠実度SLAMシステムのシミュレーションベンチマークである。 自動運転車のナビゲーションに適した34のマルチモーダルデータセットを提供します。 シミュレーションされた大規模動的環境において, 各種配列上でのORB-SLAM3システムの評価を行った。
  論文  参考訳（メタデータ） (2022-06-27T17:04:06Z)
• DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
  DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。 DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。 実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
  論文  参考訳（メタデータ） (2021-04-30T15:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。