論文の概要: On the Analysis of Computational Delays in Reinforcement Learning-based
Rate Adaptation Algorithms
- arxiv url: http://arxiv.org/abs/2303.17477v1
- Date: Thu, 30 Mar 2023 15:49:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-31 13:02:09.510300
- Title: On the Analysis of Computational Delays in Reinforcement Learning-based
Rate Adaptation Algorithms
- Title（参考訳）: 強化学習に基づくレート適応アルゴリズムにおける計算遅延の解析について
- Authors: Ricardo Trancoso, Ruben Queiros, Helder Fontes, Rui Campos
- Abstract要約: 本稿では,RL-based RAアルゴリズムにおける計算遅延の解析を行う。
本稿では,これらの計算遅延を低減し,このタイプのアルゴリズムの効率を向上させる手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Several research works have applied Reinforcement Learning (RL) algorithms to
solve the Rate Adaptation (RA) problem in Wi-Fi networks. The dynamic nature of
the radio link requires the algorithms to be responsive to changes in link
quality. Delays in the execution of the algorithm may be detrimental to its
performance, which in turn may decrease network performance. This aspect has
been overlooked in the state of the art. In this paper, we present an analysis
of common computational delays in RL-based RA algorithms, and propose a
methodology that may be applied to reduce these computational delays and
increase the efficiency of this type of algorithms. We apply the proposed
methodology to an existing RL-based RA algorithm. The obtained experimental
results indicate a reduction of one order of magnitude in the execution time of
the algorithm, improving its responsiveness to link quality changes.
- Abstract（参考訳）: いくつかの研究は、Wi-Fiネットワークにおけるレート適応(RA)問題を解決するために強化学習(RL)アルゴリズムを適用している。
無線リンクの動的な性質は、リンク品質の変化に応答するアルゴリズムを必要とする。
アルゴリズムの実行の遅延はその性能を損なう可能性があるため、ネットワーク性能が低下する可能性がある。
この側面は、芸術の世界では見過ごされている。
本稿では,RLに基づくRAアルゴリズムにおける一般的な計算遅延の解析を行い,これらの計算遅延を低減し,このタイプのアルゴリズムの効率を向上させる手法を提案する。
提案手法を既存のRLに基づくRAアルゴリズムに適用する。
得られた実験結果は,アルゴリズムの実行時間の1桁の削減を示し,リンク品質変化に対する応答性を向上した。
関連論文リスト
- Broad Critic Deep Actor Reinforcement Learning for Continuous Control [5.440090782797941]
アクター批判強化学習(RL)アルゴリズムのための新しいハイブリッドアーキテクチャを提案する。
提案したアーキテクチャは、広範学習システム(BLS)とディープニューラルネットワーク(DNN)を統合している。
提案アルゴリズムの有効性を2つの古典的連続制御タスクに適用することにより評価する。
論文 参考訳（メタデータ） (2024-11-24T12:24:46Z) - Reinforcement-Learning based routing for packet-optical networks with hybrid telemetry [0.3848364262836075]
このアルゴリズムは,FEC前BERで測定したリンク負荷変化やリンク劣化に対する最適ポリシーを再計算することにより,ネットワーク条件の変化に動的に適応することを示した。
論文 参考訳（メタデータ） (2024-06-18T13:32:12Z) - Posterior Sampling with Delayed Feedback for Reinforcement Learning with
Linear Function Approximation [62.969796245827006]
Delayed-PSVI は楽観的な値に基づくアルゴリズムであり、後続サンプリングによる雑音摂動により値関数空間を探索する。
我々のアルゴリズムは、未知の遅延が存在する場合に、$widetildeO(sqrtd3H3 T + d2H2 E[tau]$最悪の後悔を実現する。
遅延LPSVIのための勾配に基づく近似サンプリングスキームをLangevin動的に組み込んだ。
論文 参考訳（メタデータ） (2023-10-29T06:12:43Z) - Comprehensive Algorithm Portfolio Evaluation using Item Response Theory [0.19116784879310023]
IRTは、単一の分類データセット上での機械学習アルゴリズムのパフォーマンスを評価するために応用されている。
我々は、データセットのリポジトリにまたがるアルゴリズムのポートフォリオを評価するためのIRTベースの修正フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-29T00:48:29Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Revisiting State Augmentation methods for Reinforcement Learning with
Stochastic Delays [10.484851004093919]
本稿では,遅延を伴うマルコフ決定過程(MDP)の概念を正式に述べる。
遅延MDPは、コスト構造が大幅に単純化された(遅延なしで)等価な標準MDPに変換可能であることを示す。
この等価性を利用して、モデルフリーな遅延分解RLフレームワークを導出し、このフレームワーク上に構築された単純なRLアルゴリズムでさえ、動作や観測の遅延を伴う環境におけるほぼ最適報酬を達成することを示す。
論文 参考訳（メタデータ） (2021-08-17T10:45:55Z) - Identifying Co-Adaptation of Algorithmic and Implementational
Innovations in Deep Reinforcement Learning: A Taxonomy and Case Study of
Inference-based Algorithms [15.338931971492288]
我々は、アルゴリズムの革新と実装決定を分離するために、一連の推論に基づくアクター批判アルゴリズムに焦点を当てる。
実装の詳細がアルゴリズムの選択に一致すると、パフォーマンスが大幅に低下します。
結果は、どの実装の詳細がアルゴリズムと共適応され、共進化しているかを示す。
論文 参考訳（メタデータ） (2021-03-31T17:55:20Z) - A Two-stage Framework and Reinforcement Learning-based Optimization
Algorithms for Complex Scheduling Problems [54.61091936472494]
本稿では、強化学習(RL)と従来の運用研究(OR)アルゴリズムを組み合わせた2段階のフレームワークを開発する。
スケジューリング問題は,有限マルコフ決定過程 (MDP) と混合整数計画過程 (mixed-integer programming process) の2段階で解決される。
その結果,本アルゴリズムは,アジャイルな地球観測衛星スケジューリング問題に対して,安定かつ効率的に十分なスケジューリング計画を得ることができた。
論文 参考訳（メタデータ） (2021-03-10T03:16:12Z) - Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。
今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。
実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。
本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
論文 参考訳（メタデータ） (2021-02-18T13:49:28Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳（メタデータ） (2021-01-08T18:55:07Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳（メタデータ） (2020-06-15T02:57:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。