論文の概要: Scheduling the NASA Deep Space Network with Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2102.05167v1
- Date: Tue, 9 Feb 2021 22:48:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-11 14:33:32.967469
- Title: Scheduling the NASA Deep Space Network with Deep Reinforcement Learning
- Title（参考訳）: 深部強化学習によるNASA深部宇宙ネットワークのスケジューリング
- Authors: Edwin Goh, Hamsa Shwetha Venkataram, Mark Hoffmann, Mark Johnston,
Brian Wilson
- Abstract要約: NASAのディープ・スペース・ネットワーク(Deep Space Network、DSN)は、世界中の数十の活発なミッションのための通信と科学機器の主要な手段である。
宇宙船の数が急速に増加し、帯域幅が要求される複雑な科学機器が増加し、12個のアンテナでネットワークの容量を超える需要が生じた。
本稿では,ミッション要求と宇宙船のエフェメリスデータから,実世界の運用制約に対処する能力を示すDSNスケジュールを生成するための深層強化学習手法を提案する。
- 参考スコア（独自算出の注目度）: 0.4083182125683813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With three complexes spread evenly across the Earth, NASA's Deep Space
Network (DSN) is the primary means of communications as well as a significant
scientific instrument for dozens of active missions around the world. A rapidly
rising number of spacecraft and increasingly complex scientific instruments
with higher bandwidth requirements have resulted in demand that exceeds the
network's capacity across its 12 antennae. The existing DSN scheduling process
operates on a rolling weekly basis and is time-consuming; for a given week,
generation of the final baseline schedule of spacecraft tracking passes takes
roughly 5 months from the initial requirements submission deadline, with
several weeks of peer-to-peer negotiations in between. This paper proposes a
deep reinforcement learning (RL) approach to generate candidate DSN schedules
from mission requests and spacecraft ephemeris data with demonstrated
capability to address real-world operational constraints. A deep RL agent is
developed that takes mission requests for a given week as input, and interacts
with a DSN scheduling environment to allocate tracks such that its reward
signal is maximized. A comparison is made between an agent trained using
Proximal Policy Optimization and its random, untrained counterpart. The results
represent a proof-of-concept that, given a well-shaped reward signal, a deep RL
agent can learn the complex heuristics used by experts to schedule the DSN. A
trained agent can potentially be used to generate candidate schedules to
bootstrap the scheduling process and thus reduce the turnaround cycle for DSN
scheduling.
- Abstract（参考訳）: 3つのコンプレックスが地球全体に均等に広がっており、NASAのDeep Space Network(DSN)は通信の第一の手段であり、世界中の数十の活動ミッションにおいて重要な科学機器である。
急速に増加する宇宙船とより高い帯域幅の要件を持つますます複雑な科学機器は、12アンテナにわたってネットワークの容量を超える需要をもたらしました。
既存のDSNスケジューリングプロセスは週単位のローリングで運用されており、所定の週において、宇宙船追跡パスの最終ベースラインスケジュールの生成には、最初の要求の提出期限から約5ヶ月を要し、その間に数週間のピアツーピア交渉が行われる。
本稿では,ミッション要求と宇宙船のエフェメリスデータから,実世界の運用上の制約に対処する能力を実証したDSNスケジュールを生成するための深層強化学習手法を提案する。
所定の週のミッション要求を入力として受け取り、DSNスケジューリング環境と対話して、その報奨信号が最大になるようなトラックを割り当てるディープRLエージェントを開発した。
プロキシポリシー最適化を用いて訓練されたエージェントと、ランダムで訓練されていないエージェントの比較を行う。
この結果は、よく形をした報酬信号が与えられた場合、深部RLエージェントが専門家がDSNをスケジュールするために使用する複雑なヒューリスティックを学習できるという概念実証を表している。
トレーニングされたエージェントは、スケジュールプロセスのブートストラップに候補スケジュールを生成するために使用できるため、DSNスケジューリングのターンアラウンドサイクルを低減することができる。
関連論文リスト
- Exploring RL-based LLM Training for Formal Language Tasks with Programmed Rewards [49.7719149179179]
本稿では,PPOを用いた強化学習(RL)の実現可能性について検討する。
我々は,生成した出力の質を自動的に評価するために,明示的な報酬関数をプログラムできるプログラミングなどの形式言語で表されるタスクに焦点をあてる。
以上の結果から,2つの形式言語タスクに対する純粋なRLベースのトレーニングは困難であり,単純な算術タスクにおいても成功は限られていることがわかった。
論文 参考訳（メタデータ） (2024-10-22T15:59:58Z) - Tera-SpaceCom: GNN-based Deep Reinforcement Learning for Joint Resource Allocation and Task Offloading in TeraHertz Band Space Networks [11.881917133887102]
Tera-SpaceComは、様々な宇宙科学および通信アプリケーションを実現するための有望な技術として構想されている。
グラフニューラルネットワーク(GNN)を用いた深層強化学習(DRL)に基づく共同資源割り当てとタスクオフロードアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-12T10:26:17Z) - HARL: Hierarchical Adaptive Reinforcement Learning Based Auto Scheduler
for Neural Networks [51.71682428015139]
効率的なテンソルプログラム探索のための強化学習に基づく自動スケジューリングシステムであるHARLを提案する。
HarLは、最先端のオートスケジューラと比較して、テンソル演算子の性能を22%改善し、探索速度を4.3倍改善する。
また、エンドツーエンドのニューラルネットワークでは、推論性能と探索速度も大幅に向上する。
論文 参考訳（メタデータ） (2022-11-21T04:15:27Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Federated learning for LEO constellations via inter-HAP links [0.0]
ローアース・オービット(LEO)衛星星座は近年、急速に展開している。
このような応用に機械学習(ML)を適用するには、画像などの衛星データを地上局(GS)にダウンロードする従来の方法は望ましいものではない。
既存のFLソリューションは、過剰収束遅延や信頼できない無線チャネルといった大きな課題のために、そのようなLEOコンステレーションのシナリオには適さないことを示す。
論文 参考訳（メタデータ） (2022-05-15T08:22:52Z) - Learning Emergent Random Access Protocol for LEO Satellite Networks [51.575090080749554]
創発的ランダムアクセスチャネルプロトコル(eRACH)と呼ばれるLEO SATネットワークのための新しい許可なしランダムアクセスソリューションを提案する。
eRACHは、非定常ネットワーク環境との相互作用によって生じるモデルフリーなアプローチである。
RACHと比較して,提案するeRACHは平均ネットワークスループットが54.6%向上することを示す。
論文 参考訳（メタデータ） (2021-12-03T07:44:45Z) - Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless
Cellular Networks [82.02891936174221]
複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。
本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:24:47Z) - Time Series Comparisons in Deep Space Network [0.0]
ディープ・スペース・ネットワーク (Deep Space Network) は、NASAが惑星間宇宙飛行を支援するアンテナの国際配列である。
それぞれのトラックのデータを監視し、特定の宇宙船の運用とDSN自体のパフォーマンスを報告する。
本ツールには,(1) 類似したトラックトップ10の識別,(2) 基準トラックに対する異常検出,(3) 与えられたトラック間の統計的差異の比較の3つの機能がある。
論文 参考訳（メタデータ） (2021-11-02T06:38:59Z) - Smart Scheduling based on Deep Reinforcement Learning for Cellular
Networks [18.04856086228028]
深部強化学習(DRL)に基づくスマートスケジューリング手法を提案する。
実装フレンドリーな設計、すなわちエージェントのためのスケーラブルなニューラルネットワーク設計と仮想環境トレーニングフレームワークを提供する。
本研究では, DRLベースのスマートスケジューリングが従来のスケジューリング方式を上回り, 実用システムにも適用できることを示した。
論文 参考訳（メタデータ） (2021-03-22T02:09:16Z) - Deep-Reinforcement-Learning-Based Scheduling with Contiguous Resource
Allocation for Next-Generation Cellular Systems [4.227387975627387]
深部強化学習(DRL)に基づく連続周波数領域リソース割り当て(FDRA)を用いた新しいスケジューリングアルゴリズムを提案する。
DRLに基づくスケジューリングアルゴリズムは、オンライン計算の複雑さを低くしながら、他の代表的ベースライン方式よりも優れている。
論文 参考訳（メタデータ） (2020-10-11T05:41:40Z) - Integrating LEO Satellite and UAV Relaying via Reinforcement Learning
for Non-Terrestrial Networks [51.05735925326235]
低軌道軌道(LEO)衛星のメガコンステレーションは、低レイテンシで長距離通信を可能にする可能性がある。
軌道上の星座から選択されたLEO衛星を用いて、2つの遠距離地上端末間でパケットを転送する問題について検討する。
エンドツーエンドのデータレートを最大化するためには、衛星アソシエーションとHAPロケーションを最適化する必要がある。
本稿では, 深部強化学習(DRL)と新しい動作次元低減技術を用いてこの問題に対処する。
論文 参考訳（メタデータ） (2020-05-26T05:39:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。