論文の概要: CognitiveReality: Robot-Agnostic Semantic Gaussian Mapping with an LLM Agent for Immersive Collaborative VR Teleoperation
- arxiv url: http://arxiv.org/abs/2609.31418v1
- Date: Fri, 25 Sep 2026 15:39:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.461999
- Title: CognitiveReality: Robot-Agnostic Semantic Gaussian Mapping with an LLM Agent for Immersive Collaborative VR Teleoperation
- Title（参考訳）: 認知現実性:没入型協調型VR遠隔操作のためのLLMエージェントを用いたロボット非依存型セマンティックガウスマッピング
- Abstract要約: 3Dビューは、ロボットがどこにいるかをテレオペレーターに伝えるが、シーンには含まれていない。
CognitiveRealityは、ロボットのRGB-Dストリームをオペレーターによる生きたセマンティックインデックス付きTSマップに変える。
- 参考スコア（独自算出の注目度）: 2.1645011609137295
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: A photorealistic 3D view tells a teleoperator where a robot is, but not what the scene contains, how well each object has been observed, or how to turn pointing and speech into robot action. CognitiveReality turns a robot's RGB-D stream into a live, semantically indexed Gaussian-TSDF map shared by an operator in virtual reality and a tool-using language agent. One mapper binary serves any platform through configuration alone: it ingests poses from robot SLAM, joint kinematics, motion capture or an inline visual tracker, bridges localization outages with a shadow tracker and keyframe-anchored PnP, and maintains open-vocabulary instance identities with per-object quality at 2 Hz. Speech and controller rays are grounded against persistent scene objects through validated typed tools and operator-confirmed robot actions. In the controlled agent evaluation, the deployed local Qwen3-VL-8B router reaches 81.24\% tool exact match, while merge-aware replay correctly redirects 101 absorbed object identifiers. On robot data CognitiveReality exceeds a Gaussian-plus-SDF baseline by 2-8 dB; pose error through 5-40 s SLAM outages stays within 1-8 cm. Deployed live on two quadrupeds, the agent executed 26 of 30 navigation requests and 20 of 20 re-observation requests, raising object quality by 2-5 dB.
- Abstract（参考訳）: 写真リアリスティックな3Dビューは、ロボットがどこにいるかをテレオペレーターに伝えるが、シーンは含まれていない。
CognitiveRealityは、ロボットのRGB-Dストリームを、バーチャルリアリティーとツールを使用する言語エージェントでオペレーターが共有する、意味的にインデックス付けされたガウス-TSDFマップに変換する。
ロボットSLAM、関節キネマティクス、モーションキャプチャ、インラインビジュアルトラッカーからのポーズを取り込み、シャドートラッカーとキーフレームアンコールPnPでローカライゼーションの停止をブリッジし、オブジェクトごとの品質2Hzでオープン語彙のインスタンスIDを維持する。
音声とコントローラは、検証された型付けツールとオペレータ確認されたロボット動作によって、永続的なシーンオブジェクトに対して接地される。
制御エージェント評価では、デプロイされたローカルQwen3-VL-8Bルータが81.24\%のツール一致に達し、マージ認識のリプレイが101個の吸収対象識別子を正しくリダイレクトする。
ロボットデータでは、CognitiveRealityはガウス+SDFベースラインを2～8dB超え、5～40秒のSLAM停止によるエラーは1～8cm以内である。
2つの四足歩行でライブ配信され、30のナビゲーションリクエストのうち26と20のリオブザーバリクエストを実行し、オブジェクトの品質を2-5dB向上させた。
関連論文リスト
- When Robots Exchange Meaning: A Demo of Goal-Oriented Semantic Communications for Collaborative Robotics [2.7158085195874713]
本稿では,ロボット側視覚圧縮,エッジ側セマンティックマッピング,ダッシュボードベースのミッションインタラクションを統合した,ロボットエッジセマンティックコミュニケーション(SemCom)テストベッドを提案する。
RGB-DセンシングとLiDARを備えた移動ロボットがROS2を動作させ、Jetson Orinエッジノードが再構成、セマンティックオブジェクトハンドリング、可視化を行う。
再構成されたビジュアルストリームは、下流ロボットアプリケーションのためのセマンティックマップを生成するために、深さ、ポーズ、および3Dマッピング情報にさらに関連付けられる。
論文 参考訳（メタデータ） (2026-07-30T14:16:23Z) - See like a Robot: Robot-Centric Pointmaps for Vision-Language-Action Models [51.019904314336124]
視覚言語アクション(VLA)モデルは、視覚的な観察と言語指示からロボットの動きを予測する。
ほとんどのVLAは、カメラフレーム内のシーンを観察し、シーンが観察された場所とアクションが定義された場所との間のフレームミスマッチを生成する。
このミスマッチをロボット中心のポイントマップで処理し、ロボットフレーム内のシーンポイントの3D座標を画素に格納する。
論文 参考訳（メタデータ） (2026-07-13T12:50:32Z) - GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。
GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。
我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。
GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
論文 参考訳（メタデータ） (2026-06-03T17:57:45Z) - Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation [60.07205156194741]
身体的なナビゲーションでは、エージェントが言語や視覚的な観察を、実際に見たことのない環境を通して実際のロボットを駆動する空間的な行動の流れにマッピングする必要がある。
統合エージェントアーキテクチャであるUni-LaViRAを4つのタスクファミリと4つの異種実ロボットに拡張する。
論文 参考訳（メタデータ） (2026-05-26T18:52:04Z) - Robotic Grasping and Placement Controlled by EEG-Based Hybrid Visual and Motor Imagery [64.82869118243723]
本稿では,脳波に基づく視覚・運動画像(VI/MI)とロボット制御を統合し,リアルタイム・意図駆動型把握・配置を実現するフレームワークを提案する。
このシステムは、BCI駆動のロボット工学の約束に感銘を受けて、オフラインで事前訓練されたデコーダをゼロショットで展開することによって、ニューラルネットワークを物理的制御でブリッジする。
論文 参考訳（メタデータ） (2026-03-03T17:41:42Z) - RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics [67.11221574129937]
空間参照は、3D物理世界と相互作用するエンボディロボットの基本的な能力である。
本稿では,まず空間的理解を正確に行うことのできる3次元VLMであるRoboReferを提案する。
RoboReferは、強化微調整による一般化された多段階空間推論を推進している。
論文 参考訳（メタデータ） (2025-06-04T17:59:27Z) - Robo2VLM: Visual Question Answering from Large-Scale In-the-Wild Robot Manipulation Datasets [15.349107660229356]
VLM(Vision-Language Models)は,インターネット規模の画像テキストコーパスを通じて,実世界の知識と一般的な推論能力を取得する。
本稿では,VLMのためのVQA(Visual Question Answering)データセット生成フレームワークであるRobo2VLMを紹介する。
実物176kのロボット軌道から463の異なるシーンと3,396のロボット操作タスクをカバーし、684,710の質問を回答した。
論文 参考訳（メタデータ） (2025-05-21T13:42:52Z) - Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。
まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。
この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。
両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
論文 参考訳（メタデータ） (2024-09-26T17:57:16Z) - Indoor Semantic Scene Understanding using Multi-modality Fusion [0.0]
本研究では,環境のセマンティックマップを生成するために,2次元および3次元検出枝を融合したセマンティックシーン理解パイプラインを提案する。
収集したデータセットで評価された以前の研究とは異なり、私たちはアクティブなフォトリアリスティックなロボット環境でパイプラインをテストする。
我々の新規性には、投影された2次元検出とオブジェクトサイズに基づくモダリティ融合を用いた3次元提案の修正が含まれる。
論文 参考訳（メタデータ） (2021-08-17T13:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。