論文の概要: Distilling Knowledge from Resource Management Algorithms to Neural Networks: A Unified Training Assistance Approach

• arxiv url: http://arxiv.org/abs/2308.07511v1
• Date: Tue, 15 Aug 2023 00:30:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 14:19:08.741134
• Title: Distilling Knowledge from Resource Management Algorithms to Neural Networks: A Unified Training Assistance Approach
• Title（参考訳）: 資源管理アルゴリズムからニューラルネットワークへの知識の希薄化:統一トレーニング支援アプローチ
• Authors: Longfei Ma, Nan Cheng, Xiucheng Wang, Zhisheng Yin, Haibo Zhou, Wei Quan
• Abstract要約: 本稿では,知識蒸留(KD)に基づくアルゴリズム蒸留(AD)法を提案する。 本研究は,無線通信システム最適化における従来の最適化洞察と新しいNN技術の統合の道を開くものである。
• 参考スコア（独自算出の注目度）: 18.841969905928337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a fundamental problem, numerous methods are dedicated to the optimization of signal-to-interference-plus-noise ratio (SINR), in a multi-user setting. Although traditional model-based optimization methods achieve strong performance, the high complexity raises the research of neural network (NN) based approaches to trade-off the performance and complexity. To fully leverage the high performance of traditional model-based methods and the low complexity of the NN-based method, a knowledge distillation (KD) based algorithm distillation (AD) method is proposed in this paper to improve the performance and convergence speed of the NN-based method, where traditional SINR optimization methods are employed as ``teachers" to assist the training of NNs, which are ``students", thus enhancing the performance of unsupervised and reinforcement learning techniques. This approach aims to alleviate common issues encountered in each of these training paradigms, including the infeasibility of obtaining optimal solutions as labels and overfitting in supervised learning, ensuring higher convergence performance in unsupervised learning, and improving training efficiency in reinforcement learning. Simulation results demonstrate the enhanced performance of the proposed AD-based methods compared to traditional learning methods. Remarkably, this research paves the way for the integration of traditional optimization insights and emerging NN techniques in wireless communication system optimization.
• Abstract（参考訳）: 基本的な問題として,マルチユーザ設定におけるsinr(signal-to-interference-plus-noise ratio)の最適化に多くの手法が組み込まれている。 従来のモデルベース最適化手法は高いパフォーマンスを実現するが、高い複雑性は、パフォーマンスと複雑性をトレードオフするためのニューラルネットワーク(NN)ベースのアプローチを高くする。 To fully leverage the high performance of traditional model-based methods and the low complexity of the NN-based method, a knowledge distillation (KD) based algorithm distillation (AD) method is proposed in this paper to improve the performance and convergence speed of the NN-based method, where traditional SINR optimization methods are employed as ``teachers" to assist the training of NNs, which are ``students", thus enhancing the performance of unsupervised and reinforcement learning techniques. 本研究の目的は,各学習パラダイムで遭遇する共通問題を緩和することであり,ラベルとしての最適解の獲得や教師なし学習における過度な適合性,教師なし学習における収束性能の向上,強化学習における訓練効率の向上などである。 シミュレーションの結果,従来の学習手法と比較してAD法の性能が向上した。 この研究は,無線通信システム最適化における従来の最適化洞察と新しいNN技術の統合の道を開くものである。

関連論文リスト

• Enhancing CNN Classification with Lamarckian Memetic Algorithms and Local Search [0.0]
  そこで本研究では,局所探索機能を組み込んだ2段階学習手法と集団最適化アルゴリズムを併用した新しい手法を提案する。 実験の結果,提案手法は最先端の勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-26T17:31:15Z)
• Novel Saliency Analysis for the Forward Forward Algorithm [0.0]
  ニューラルネットワークトレーニングにフォワードフォワードアルゴリズムを導入する。 この方法は、2つのフォワードパスを実際のデータで実行し、正の強化を促進する。 従来のサリエンシ手法に固有の制約を克服するため,フォワードフォワードフレームワークに特化してベスポークサリエンシアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-09-18T17:21:59Z)
• An Efficient Learning-based Solver Comparable to Metaheuristics for the Capacitated Arc Routing Problem [67.92544792239086]
  我々は,高度メタヒューリスティックスとのギャップを著しく狭めるため,NNベースの解法を導入する。 まず,方向対応型注意モデル(DaAM)を提案する。 第2に、教師付き事前学習を伴い、堅牢な初期方針を確立するための教師付き強化学習スキームを設計する。
  論文  参考訳（メタデータ） (2024-03-11T02:17:42Z)
• Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
  我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。 提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
  論文  参考訳（メタデータ） (2023-07-14T06:44:43Z)
• Deep Active Learning with Structured Neural Depth Search [18.180995603975422]
  Active-iNASは、複数のモデルを訓練し、各アクティブラーニングサイクルの後に、その後のサンプルをクエリする最適な一般化性能でモデルを選択する。 本稿では,SVI(Structured Variational Inference)あるいはSNDS(Structured Neural Deep Search)と呼ばれる手法を用いた新しいアクティブ戦略を提案する。 同時に、理論上は、平均場推定に基づく現在のVIベースの手法が性能を低下させる可能性があることを実証している。
  論文  参考訳（メタデータ） (2023-06-05T12:00:12Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
  本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。 性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
  論文  参考訳（メタデータ） (2022-05-03T07:54:56Z)
• Efficiently Solving High-Order and Nonlinear ODEs with Rational Fraction Polynomial: the Ratio Net [3.155317790896023]
  本研究では、ニューラルネットワークアーキテクチャを導入して、比重ネットと呼ばれる試行関数を構築することで、異なるアプローチをとる。 実証実験により,提案手法は既存手法と比較して高い効率性を示すことを示した。 比重ネットは、微分方程式の解法効率と有効性を向上させることを約束する。
  論文  参考訳（メタデータ） (2021-05-18T16:59:52Z)
• Behavior-based Neuroevolutionary Training in Reinforcement Learning [3.686320043830301]
  本稿では,神経進化的最適化と価値に基づく強化学習を組み合わせたハイブリッドアルゴリズムを提案する。 この目的のために,エージェントポリシーの生成と最適化のための異なる手法を統合し,多様な集団を創出する。 その結果, 進化的手法のサンプル効率と学習速度を向上できることがわかった。
  論文  参考訳（メタデータ） (2021-05-17T15:40:42Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。