論文の概要: NetRL: Powering Network Decisions via NetGRPO-Driven Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.16226v1
• Date: Mon, 12 Oct 2026 06:03:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 06:58:18.839959
• Title: NetRL: Powering Network Decisions via NetGRPO-Driven Reinforcement Learning
• Title（参考訳）: NetRL:NetGRPOによる強化学習によるネットワーク決定
• Abstract要約: 既存のソリューションは、ネットワークタスク全体にわたって不適切な一般化を行い、相当なタスク固有の再設計が必要であり、長期的なアクション結果の信頼性が欠如している。 本稿では,実証軌道の教師付き微調整とオンラインポリシー最適化を組み合わせた強化学習フレームワークNetRLを提案する。
• 参考スコア（独自算出の注目度）: 9.509101143543601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network decision-making tasks, including adaptive bitrate streaming, load balancing, and congestion control, require policies to process heterogeneous states and actions while balancing near- and long-term consequences. Existing solutions generalize poorly across network tasks, require substantial task-specific redesign, and lack reliable evaluation of long- horizon action consequences. Methods that learn through online interaction additionally face unstable optimization. We present NetRL, a two-stage LLM-based reinforcement learning framework that combines supervised fine-tuning on demonstration trajectories with online policy optimization. A universal mixed-embedding interface combines textual task descriptions with precise numerical states, while a network action head produces valid decisions. At its core, NetGRPO evaluates candidate actions over multiple future trajectories, directs deeper search toward uncertain alternatives through confidence-aware budgeting, and performs group-relative, clipped, and KL-regularized updates. NetRL achieves 23.6% higher QoE than NetLLM, 12.2% lower job completion time than Genet, and 24.1% higher network utility than Orca, yielding state-of-the-art performance among the evaluated methods. Confidence-aware budgeting reduces end-to-end training time by 27.1% without reducing validation QoE. NetRL also converges stably and generalizes to unseen network traces without retraining. Code and model weights are available at the repository linked in this paper.
• Abstract（参考訳）: 適応的なビットレートストリーミング、ロードバランシング、渋滞制御を含むネットワーク決定タスクは、近時と長期的な結果のバランスをとりながら、異種状態とアクションを処理するポリシーを必要とする。 既存のソリューションは、ネットワークタスク全体にわたって不適切な一般化を行い、相当なタスク固有の再設計が必要であり、長期的なアクション結果の信頼性が欠如している。 オンラインインタラクションを通じて学習するメソッドはさらに不安定な最適化に直面します。 本稿では,2段階のLLMに基づく強化学習フレームワークであるNetRLについて述べる。 普遍的な混合埋め込みインタフェースは、テキストタスク記述と正確な数値状態を組み合わせる一方、ネットワークアクションヘッドは有効な決定を生成する。 NetGRPOは、その中核として、複数の将来の軌跡に対する候補行動を評価し、信頼を意識した予算化を通じて、不確実な代替案への深い探索を指示し、グループ限定、クリップ化、KL規則化された更新を実行する。 NetRLは、NetLLMよりも23.6%高いQoE、Genetより12.2%低いジョブ完了時間、Orcaより24.1%高いネットワークユーティリティを実現し、評価手法の中で最先端のパフォーマンスを実現している。 信頼性に配慮した予算設定は、検証QoEを減らさずに、エンドツーエンドのトレーニング時間を27.1%短縮する。 NetRLは安定して収束し、再トレーニングせずに未確認のネットワークトレースに一般化する。 コードとモデルの重み付けは、この論文にリンクされたリポジトリで利用可能です。

関連論文リスト

• From Prior-Guided Heuristics to Deployable Agents: Accelerating Demonstration-Driven Reinforcement Learning for Deadline-Constrained Network Control [17.40703988810448]
  本稿では、両方の障害に対処するデプロイメント中心のネットワーク制御フレームワークを提案する。 まず,パケットの緊急性によってインターフェースの混雑を定量化する,期限対応メトリックファミリーであるEffective Congestion(EC)を提案する。 第2に,既存の政策学習パラダイムを一般化する統一的な学習目標を導入する。
  論文  参考訳（メタデータ） (2026-09-03T09:36:56Z)
• Multi-Timescale Latent-Action DRL for Joint Optimization in Edge-Cloud Networks [48.421359451414155]
  エッジクラウドとレイヤ間のロード不均衡は、レイテンシのパフォーマンスを低下させる。 動的タスク到着と異種リソースの下での階層型エッジクラウドコンピューティングシステム。 本稿では,サービス配置を最適化するための行動空間(2MDRL-LA)を用いた2時間深層学習研究を提案する。 平均e2e遅延を20.8%削減し、計画よりも13%改善した。
  論文  参考訳（メタデータ） (2026-06-30T11:56:15Z)
• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• Meta Hierarchical Reinforcement Learning for Scalable Resource Management in O-RAN [9.290879387995401]
  本稿では,モデル非依存型メタラーニング(MAML)に触発された適応型メタ階層型強化学習フレームワークを提案する。 このフレームワークは階層的な制御とメタラーニングを統合し、グローバルとローカルの両方の適応を可能にする。 ネットワークスケールの増加に伴い、適応と一貫性のある公平性、レイテンシ、スループットのパフォーマンスが最大40%向上する。
  論文  参考訳（メタデータ） (2025-12-08T08:16:27Z)
• Online Training and Pruning of Deep Reinforcement Learning Networks [0.0]
  強化学習(RL)アルゴリズムのディープニューラルネットワーク(NN)のスケーリングは、特徴抽出ネットワークを使用する場合のパフォーマンスを向上させることが示されている。 先進RL法において,同時学習とプルーニングを併用する手法を提案する。
  論文  参考訳（メタデータ） (2025-07-16T07:17:41Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• RL-QN: A Reinforcement Learning Framework for Optimal Control of Queueing Systems [8.611328447624677]
  モデルベース強化学習(RL)を用いて、待ち行列ネットワークの最適制御ポリシーを学習する。 しかし、従来のRLのアプローチでは、ネットワーク制御問題の非有界状態空間は扱えない。 我々は、状態空間の有限部分集合にモデルベースのRL法を適用するReinforcement Learning for Queueing Networks (RL-QN)と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-14T22:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。