論文の概要: Digital Twin-Enhanced Wireless Indoor Navigation: Achieving Efficient Environment Sensing with Zero-Shot Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2306.06766v3
• Date: Sun, 03 Nov 2024 02:09:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 21:26:11.884424
• Title: Digital Twin-Enhanced Wireless Indoor Navigation: Achieving Efficient Environment Sensing with Zero-Shot Reinforcement Learning
• Title（参考訳）: ディジタルツイン強化ワイヤレス屋内ナビゲーション:ゼロショット強化学習による効率的な環境センシングの実現
• Authors: Tao Li, Haozhe Lei, Hao Guo, Mingsheng Yin, Yaqi Hu, Quanyan Zhu, Sundeep Rangan,
• Abstract要約: ミリ波通信は将来のモバイルネットワークにおいて重要な要素であり、複雑な環境での屋内ナビゲーションに最適である。 従来の物理学に基づく手法、例えば到着角(AoA)は複雑なシナリオでは不足することが多い。 本稿では,デジタル双生児が提供する身体的洞察を利用して,強化学習(RL)報酬関数を形作る物理情報強化学習(PIRL)手法を提案する。
• 参考スコア（独自算出の注目度）: 21.79206567364126
• License:
• Abstract: Millimeter-wave (mmWave) communication is a vital component of future generations of mobile networks, offering not only high data rates but also precise beams, making it ideal for indoor navigation in complex environments. However, the challenges of multipath propagation and noisy signal measurements in indoor spaces complicate the use of mmWave signals for navigation tasks. Traditional physics-based methods, such as following the angle of arrival (AoA), often fall short in complex scenarios, highlighting the need for more sophisticated approaches. Digital twins, as virtual replicas of physical environments, offer a powerful tool for simulating and optimizing mmWave signal propagation in such settings. By creating detailed, physics-based models of real-world spaces, digital twins enable the training of machine learning algorithms in virtual environments, reducing the costs and limitations of physical testing. Despite their advantages, current machine learning models trained in digital twins often overfit specific virtual environments and require costly retraining when applied to new scenarios. In this paper, we propose a Physics-Informed Reinforcement Learning (PIRL) approach that leverages the physical insights provided by digital twins to shape the reinforcement learning (RL) reward function. By integrating physics-based metrics such as signal strength, AoA, and path reflections into the learning process, PIRL enables efficient learning and improved generalization to new environments without retraining. Our experiments demonstrate that the proposed PIRL, supported by digital twin simulations, outperforms traditional heuristics and standard RL models, achieving zero-shot generalization in unseen environments and offering a cost-effective, scalable solution for wireless indoor navigation.
• Abstract（参考訳）: ミリ波通信は将来のモバイルネットワークにおいて重要な要素であり、高いデータレートだけでなく正確なビームも提供し、複雑な環境での屋内ナビゲーションに最適である。 しかし、室内空間におけるマルチパス伝搬とノイズ信号測定の課題は、ナビゲーションタスクにおけるmmWave信号の使用を複雑にしている。 到着角(AoA)に従うような伝統的な物理学に基づく手法は、しばしば複雑なシナリオで不足し、より洗練されたアプローチの必要性を強調している。 デジタルツインは、物理環境の仮想レプリカとして、そのような環境でのmmWave信号の伝搬をシミュレーションし最適化するための強力なツールを提供する。 現実世界の空間の詳細な物理モデルを作成することで、デジタルツインは仮想環境における機械学習アルゴリズムのトレーニングを可能にし、物理的なテストのコストと制限を減らすことができる。 それらの利点にもかかわらず、デジタルツインでトレーニングされた現在の機械学習モデルは、しばしば特定の仮想環境に過度に適合し、新しいシナリオに適用した場合にコストがかかる。 本稿では,デジタル双生児が提供する身体的洞察を利用して,強化学習(RL)報酬関数を形成する物理情報強化学習(PIRL)手法を提案する。 信号強度、AoA、経路反射などの物理に基づくメトリクスを学習プロセスに統合することにより、PIRLは学習を効率化し、再訓練することなく新しい環境への一般化を改善する。 実験の結果,提案したPIRLは従来のヒューリスティックや標準RLモデルよりも優れており,目に見えない環境でゼロショットの一般化を実現し,低コストでスケーラブルな無線屋内ナビゲーションソリューションを提供することがわかった。

関連論文リスト

• Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
  本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。 まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。 このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
  論文  参考訳（メタデータ） (2024-06-21T13:48:37Z)
• Reinforcement-learning robotic sailboats: simulator and preliminary results [0.37918614538294315]
  この研究は、無人表面車両(USV)デジタルツインを用いた実実験を再現する仮想海洋環境の開発における主な課題と課題に焦点を当てる。 本稿では、自律的なナビゲーションと制御のために強化学習(RL)エージェントを利用することを考慮し、仮想世界を構築するための重要な機能を紹介する。
  論文  参考訳（メタデータ） (2024-01-16T09:04:05Z)
• Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
  大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。 ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。 本稿では,物理統合復元ネットワーク(PiRN)を提案する。
  論文  参考訳（メタデータ） (2023-07-20T05:49:21Z)
• Residual Physics Learning and System Identification for Sim-to-real Transfer of Policies on Buoyancy Assisted Legged Robots [14.760426243769308]
  本研究では,BALLUロボットのシステム識別による制御ポリシのロバストなシミュレートを実演する。 標準的な教師あり学習の定式化に頼るのではなく、深層強化学習を利用して外部力政策を訓練する。 シミュレーショントラジェクトリと実世界のトラジェクトリを比較することで,改良されたシミュレーション忠実度を解析する。
  論文  参考訳（メタデータ） (2023-03-16T18:49:05Z)
• TrainSim: A Railway Simulation Framework for LiDAR and Camera Dataset Generation [1.2165229201148093]
  本稿では,仮想環境下で現実的な鉄道シナリオを生成できる視覚シミュレーションフレームワークを提案する。 シミュレーションされたLiDARとカメラから慣性データとラベル付きデータセットを自動的に生成する。
  論文  参考訳（メタデータ） (2023-02-28T11:00:13Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)
• PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics [89.81550748680245]
  PasticineLabと呼ばれる新しい微分可能な物理ベンチマークを導入する。 各タスクにおいて、エージェントはマニピュレータを使用して、プラスチックを所望の構成に変形させる。 本稿では,既存の強化学習(RL)手法と勾配に基づく手法について評価する。
  論文  参考訳（メタデータ） (2021-04-07T17:59:23Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)
• Zero-Shot Reinforcement Learning with Deep Attention Convolutional Neural Networks [12.282277258055542]
  本研究では、特定の視覚センサ構成を持つ深層注意畳み込みニューラルネットワーク(DACNN)が、より低い計算複雑性で高いドメインとパラメータの変動を持つデータセット上でトレーニングを行うことを示す。 我々の新しいアーキテクチャは、制御対象に対する認識に適応し、知覚ネットワークを事前訓練することなくゼロショット学習を実現する。
  論文  参考訳（メタデータ） (2020-01-02T19:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。