論文の概要: Symbolic Distillation for Learned TCP Congestion Control

• arxiv url: http://arxiv.org/abs/2210.16987v1
• Date: Mon, 24 Oct 2022 00:58:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 14:37:33.654634
• Title: Symbolic Distillation for Learned TCP Congestion Control
• Title（参考訳）: 学習tcp混雑制御のためのシンボリック蒸留
• Authors: S P Sharan, Wenqing Zheng, Kuo-Feng Hsu, Jiarong Xing, Ang Chen, Zhangyang Wang
• Abstract要約: TCP渋滞制御は、深層強化学習(RL)アプローチで大きな成功を収めた。 ブラックボックスポリシーは解釈可能性と信頼性に欠けており、しばしば従来のTCPデータパスの外で運用する必要がある。 本稿では,まず深部RLエージェントを訓練し,次にNNポリシーをホワイトボックスの軽量なルールに蒸留する,両世界の長所を達成するための新しい2段階のソリューションを提案する。
• 参考スコア（独自算出の注目度）: 70.27367981153299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in TCP congestion control (CC) have achieved tremendous success with deep reinforcement learning (RL) approaches, which use feedforward neural networks (NN) to learn complex environment conditions and make better decisions. However, such "black-box" policies lack interpretability and reliability, and often, they need to operate outside the traditional TCP datapath due to the use of complex NNs. This paper proposes a novel two-stage solution to achieve the best of both worlds: first to train a deep RL agent, then distill its (over-)parameterized NN policy into white-box, light-weight rules in the form of symbolic expressions that are much easier to understand and to implement in constrained environments. At the core of our proposal is a novel symbolic branching algorithm that enables the rule to be aware of the context in terms of various network conditions, eventually converting the NN policy into a symbolic tree. The distilled symbolic rules preserve and often improve performance over state-of-the-art NN policies while being faster and simpler than a standard neural network. We validate the performance of our distilled symbolic rules on both simulation and emulation environments. Our code is available at https://github.com/VITA-Group/SymbolicPCC.
• Abstract（参考訳）: 近年のTCP渋滞制御(CC)の進歩は、フィードフォワードニューラルネットワーク(NN)を用いて複雑な環境条件を学習し、より良い意思決定を行うディープ強化学習(RL)アプローチで大きな成功を収めている。 しかしながら、このような「ブラックボックス」ポリシーは解釈可能性と信頼性に欠けており、しばしば複雑なNNを使用するため、従来のTCPデータパスの外で運用する必要がある。 本稿では、まず、深層RLエージェントを訓練し、次に(過度に)パラメータ化されたNNポリシーをホワイトボックスの軽量なルールに、より理解しやすく、制約された環境で実装する、新しい2段階のソリューションを提案する。 提案手法のコアとなるのは,様々なネットワーク条件の観点からルールがコンテキストを認識し,最終的にNNポリシーをシンボリックツリーに変換する,新しいシンボリック分岐アルゴリズムである。 蒸留されたシンボル規則は、標準的なニューラルネットワークよりも高速でシンプルでありながら、最先端のNNポリシーよりも性能を保ち、しばしば改善する。 シミュレーション環境とエミュレーション環境の両方において,蒸留したシンボリックルールの性能を検証する。 私たちのコードはhttps://github.com/VITA-Group/SymbolicPCCで利用可能です。

関連論文リスト

• Joint Admission Control and Resource Allocation of Virtual Network Embedding via Hierarchical Deep Reinforcement Learning [69.00997996453842]
  本稿では,仮想ネットワークの埋め込みにおいて,入出力制御と資源配分を併用して学習する深層強化学習手法を提案する。 HRL-ACRAは,受入率と長期平均収益の両面で,最先端のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2024-06-25T07:42:30Z)
• Intervention-Assisted Policy Gradient Methods for Online Stochastic Queuing Network Optimization: Technical Report [1.4201040196058878]
  本研究は,従来の深層強化学習法に代わるオンライン深層強化学習制御(ODRLC)を提案する。 ODRLCはオンラインインタラクションを使用してキューイングネットワーク(SQN)の最適制御ポリシーを学習する 本稿では、ネットワークの安定性を確保するために、これらの介入支援ポリシーを設計する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-05T14:02:04Z)
• A foundation for exact binarized morphological neural networks [2.8925699537310137]
  ディープニューラルネットワーク(NN)のトレーニングと実行は、多くの計算とエネルギー集約的な特別なハードウェアを必要とすることが多い。 計算量と消費電力を減らす方法の1つは二重NNを使うことであるが、これは符号関数が非滑らかな勾配を持つため訓練が困難である。 本研究では,特定の条件下での性能を損なうことなく,ConvNetを二項化できる数学的形態(MM)に基づくモデルを提案する。
  論文  参考訳（メタデータ） (2024-01-08T11:37:44Z)
• NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
  シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。 ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。 我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
  論文  参考訳（メタデータ） (2023-10-08T12:33:42Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Neuro-Symbolic Reinforcement Learning with First-Order Logic [63.003353499732434]
  論理ニューラルネットワークと呼ばれる最近のニューラルシンボリック・フレームワークを用いたテキストベースゲームのための新しいRL手法を提案する。 実験の結果,提案手法を用いたRLトレーニングは,TextWorldベンチマークにおいて,他の最先端のニューロシンボリック手法よりもはるかに高速に収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-21T08:21:49Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。