論文の概要: When Robots Exchange Meaning: A Demo of Goal-Oriented Semantic Communications for Collaborative Robotics
- arxiv url: http://arxiv.org/abs/2607.28256v1
- Date: Thu, 30 Jul 2026 14:16:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.588053
- Title: When Robots Exchange Meaning: A Demo of Goal-Oriented Semantic Communications for Collaborative Robotics
- Title（参考訳）: ロボットが意味を交換する:協調型ロボットのためのゴール指向セマンティックコミュニケーションのデモ
- Abstract要約: 本稿では,ロボット側視覚圧縮,エッジ側セマンティックマッピング,ダッシュボードベースのミッションインタラクションを統合した,ロボットエッジセマンティックコミュニケーション(SemCom)テストベッドを提案する。
RGB-DセンシングとLiDARを備えた移動ロボットがROS2を動作させ、Jetson Orinエッジノードが再構成、セマンティックオブジェクトハンドリング、可視化を行う。
再構成されたビジュアルストリームは、下流ロボットアプリケーションのためのセマンティックマップを生成するために、深さ、ポーズ、および3Dマッピング情報にさらに関連付けられる。
- 参考スコア（独自算出の注目度）: 2.7158085195874713
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Collaborative robotics is a representative task-oriented 6G use-case, where communication quality should be reflected in mission execution, environment understanding, and closed-loop operation rather than packet delivery alone. This demo paper presents a robot-edge semantic communication (SemCom) testbed integrating robot-side visual compression, edge-side semantic mapping, and dashboard-based mission interaction. A mobile robot equipped with RGB-D sensing and LiDAR runs ROS 2, while a Jetson Orin edge node performs reconstruction, RTAB-Map mapping, semantic object handling, and browserbased visualization. As an initial proof of concept, RGB frames are encoded on the robot into VQ-VAE tokens using an ONNX Runtime encoder and reconstructed on the edge using a PyTorch decoder. A 320 X 240 image is represented by an 80 X 60 token grid with a packed payload of 5400 bytes, corresponding to a 42.67X reduction relative to model-input RGB bytes. The reconstructed visual stream is further associated with depth, pose, and 3D mapping information to generate a semantic map for downstream robotic applications. The demo exposes the full path from semantic visual transport to object-level map interaction, and provides a practical platform for future task-aware 6G networking studies at the intersection of SemCom, embodied AI, and physical AI-enabled robotics. A video of the demo is available at https://tinyurl.com/Tos09
- Abstract（参考訳）: コラボレーティブ・ロボティクス(Collaborative Roboticss)は、ミッションの実行、環境理解、パケット配信のみではなくクローズドループ操作に通信品質を反映するタスク指向の6Gユースケースである。
本稿では,ロボット側視覚圧縮,エッジ側セマンティックマッピング,ダッシュボードベースのミッションインタラクションを統合した,ロボットエッジセマンティックコミュニケーション(SemCom)テストベッドを提案する。
RGB-DセンシングとLiDARを備えた移動ロボットがROS2を動作させ、Jetson Orinエッジノードが再構成、RTAB-Mapマッピング、セマンティックオブジェクトハンドリング、ブラウザベースビジュアライゼーションを行う。
最初の概念実証として、RGBフレームはONNX Runtimeエンコーダを使用してVQ-VAEトークンにロボット上にエンコードされ、PyTorchデコーダを使用してエッジ上に再構築される。
320 X 240の画像は80 X 60のトークングリッドで表現され、積載ペイロードは5400バイトであり、モデル入力RGBバイトに対して42.67Xの削減に対応する。
再構成されたビジュアルストリームは、下流ロボットアプリケーションのためのセマンティックマップを生成するために、深さ、ポーズ、および3Dマッピング情報にさらに関連付けられる。
デモでは、セマンティックなビジュアルトランスポートからオブジェクトレベルのマップインタラクションへの完全なパスが公開され、SemComの交差点における将来のタスク対応の6Gネットワーク研究のための実践的なプラットフォーム、具体化されたAI、および物理的なAI対応ロボティクスを提供する。
デモのビデオはhttps://tinyurl.com/Tos09で公開されている。
関連論文リスト
- Sparse2Act: Learning Action-Aligned Sparse 3D Representations for Cross-Domain Robot Manipulation [52.00134393320209]
Sparse2Actは、スパースポイントクラウドエンコーダの事前学習のための観測・動作アライメントフレームワークである。
マスク付きスパース3Dトークンは、観察と組み合わせたワークスペース運動の周囲のシーン特徴を整理するために訓練される。
LIBERO-10ベンチマークでは,500ステップの微調整を行い,平均86.9%の成功を達成した。
論文 参考訳（メタデータ） (2026-06-10T23:56:01Z) - Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation [60.07205156194741]
身体的なナビゲーションでは、エージェントが言語や視覚的な観察を、実際に見たことのない環境を通して実際のロボットを駆動する空間的な行動の流れにマッピングする必要がある。
統合エージェントアーキテクチャであるUni-LaViRAを4つのタスクファミリと4つの異種実ロボットに拡張する。
論文 参考訳（メタデータ） (2026-05-26T18:52:04Z) - Vision-Based Hand Shadowing for Robotic Manipulation via Inverse Kinematics [0.0]
3Dプリンティングガラスに装着した1台の自家中心型RGB-Dカメラから、オフラインのハンドシャドイングとマッピングパイプラインを提示する。
パイプラインはMediaPipe Handsを使用して、手当たり21のランドマークを検出する。
グリップコントローラは、親指の指形状を4段階のフォールバック階層で把握するようにマッピングする。
論文 参考訳（メタデータ） (2026-03-11T23:53:28Z) - Robotic Grasping and Placement Controlled by EEG-Based Hybrid Visual and Motor Imagery [64.82869118243723]
本稿では,脳波に基づく視覚・運動画像(VI/MI)とロボット制御を統合し,リアルタイム・意図駆動型把握・配置を実現するフレームワークを提案する。
このシステムは、BCI駆動のロボット工学の約束に感銘を受けて、オフラインで事前訓練されたデコーダをゼロショットで展開することによって、ニューラルネットワークを物理的制御でブリッジする。
論文 参考訳（メタデータ） (2026-03-03T17:41:42Z) - Robotic Visual Instruction [10.110333805611974]
ロボット視覚指導(RoVI)を導入し,ロボット作業の指導を行う。
RoVIは時空間情報を人間の解釈可能な視覚命令にエンコードする。
ロボットがRoVIをよりよく理解できるように、視覚インストラクション・エンボダイド(VIEW)を提案する。
論文 参考訳（メタデータ） (2025-05-01T17:55:05Z) - EnerVerse: Envisioning Embodied Future Space for Robotics Manipulation [55.26713167507132]
本稿では,エンボディ空間の構築と解釈を行う生成ロボティクス基礎モデルを提案する。
EnerVerseは、自己回帰的ビデオ拡散フレームワークを使用して、命令から将来のエンボディドスペースを予測する。
本稿では,生成モデルと4次元ガウススプラッティングを組み合わせたデータエンジンパイプラインであるEnerVerse-Dについて述べる。
論文 参考訳（メタデータ） (2025-01-03T17:00:33Z) - Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
我々はPolarisという対話型ロボット操作フレームワークを紹介した。
ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。
本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
論文 参考訳（メタデータ） (2024-08-15T06:40:38Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳（メタデータ） (2023-06-16T17:58:10Z) - Object Goal Navigation Based on Semantics and RGB Ego View [9.702784248870522]
本稿では,RGBエゴビューを前提として,サービスロボットが屋内環境のセマンティックな意思決定を行えるようにするためのアーキテクチャと方法論を提案する。
ロボットはジオセムマップ(幾何マップと意味マップのリレーショナル組み合わせ)に基づいてナビゲートする。
提案手法は, 平均完了時間に対するゲーミフィケーション評価において, 人間のユーザよりも優れていた。
論文 参考訳（メタデータ） (2022-10-20T19:23:08Z) - Visual Navigation in Real-World Indoor Environments Using End-to-End
Deep Reinforcement Learning [2.7071541526963805]
そこで本研究では,実際のロボットにトレーニング済みポリシーを直接展開する手法を提案する。
このポリシーは、現実世界の環境から収集された画像に基づいて微調整される。
30回のナビゲーション実験では、このロボットは86.7%以上のケースで目標の0.3メートル付近に到達した。
論文 参考訳（メタデータ） (2020-10-21T11:22:30Z) - Deep Reinforcement learning for real autonomous mobile robot navigation
in indoor environments [0.0]
本研究では,地図やプランナーを使わずに,未知の環境下での自律型自律学習ロボットナビゲーションの概念を実証する。
ロボットの入力は、2DレーザースキャナーとRGB-Dカメラからの融合データと目標への向きのみである。
Asynchronous Advantage Actor-Critic Network(GA3C)の出力動作は、ロボットの線形および角速度である。
論文 参考訳（メタデータ） (2020-05-28T09:15:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。