Fugu-MT 論文翻訳(概要): Pointer Networks Trained Better via Evolutionary Algorithms

論文の概要: Pointer Networks Trained Better via Evolutionary Algorithms

arxiv url: http://arxiv.org/abs/2312.01150v4
Date: Mon, 11 Mar 2024 09:26:03 GMT
ステータス: 処理完了
システム内更新日: 2024-03-13 15:12:18.529973
Title: Pointer Networks Trained Better via Evolutionary Algorithms
Title（参考訳）: 進化的アルゴリズムによるポインタネットワークの学習
Authors: Muyao Zhong, Shengcai Liu, Bingdong Li, Haobo Fu, Ke Tang, Peng Yang
Abstract要約: Pointer Network(PtrNet)は、組合せ最適化問題(COP)を解決するための特定のニューラルネットワークである。本稿では進化的アルゴリズム(EA)を用いたPtrNetの学習の利点を深く掘り下げる。 EAは同じ計算時間でソリューションの品質を最大30.21%向上させる。
参考スコア（独自算出の注目度）: 18.67745723872464
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pointer Network (PtrNet) is a specific neural network for solving Combinatorial Optimization Problems (COPs). While PtrNets offer real-time feed-forward inference for complex COPs instances, its quality of the results tends to be less satisfactory. One possible reason is that such issue suffers from the lack of global search ability of the gradient descent, which is frequently employed in traditional PtrNet training methods including both supervised learning and reinforcement learning. To improve the performance of PtrNet, this paper delves deeply into the advantages of training PtrNet with Evolutionary Algorithms (EAs), which have been widely acknowledged for not easily getting trapped by local optima. Extensive empirical studies based on the Travelling Salesman Problem (TSP) have been conducted. Results demonstrate that PtrNet trained with EA can consistently perform much better inference results than eight state-of-the-art methods on various problem scales. Compared with gradient descent based PtrNet training methods, EA achieves up to 30.21\% improvement in quality of the solution with the same computational time. With this advantage, this paper is able to at the first time report the results of solving 1000-dimensional TSPs by training a PtrNet on the same dimensionality, which strongly suggests that scaling up the training instances is in need to improve the performance of PtrNet on solving higher-dimensional COPs.
Abstract（参考訳）: Pointer Network (PtrNet) は、組合せ最適化問題(COP)を解決するためのニューラルネットワークである。 PtrNetsは複雑なCOPsインスタンスに対してリアルタイムフィードフォワード推論を提供するが、結果の品質は満足できない傾向にある。一つの考えられる理由は、このような問題は勾配降下のグローバルな探索能力の欠如に苦しんでおり、教師付き学習と強化学習の両方を含む伝統的なptrnetトレーニング手法で頻繁に使われている。 PtrNetの性能向上のために,PtrNetと進化的アルゴリズム(EA)の訓練の利点を深く研究した。トラベリングセールスマン問題(TSP)に基づく広範な実証研究が実施されている。その結果、EAでトレーニングされたPtrNetは、様々な問題スケールで8つの最先端手法よりもずっと優れた推論結果が得られることが示された。勾配降下に基づくPtrNetトレーニング手法と比較して、EAは同じ計算時間でソリューションの品質を最大30.21 %向上させる。この利点を活かして,同じ次元でptrnetをトレーニングすることにより,1000次元tspの解法を初めて報告することが可能であり,高次元copsの解法においてptrnetの性能を向上させるためには,トレーニングインスタンスのスケールアップが必要であることを強く示唆する。

関連論文リスト

PSE-Net: Channel Pruning for Convolutional Neural Networks with Parallel-subnets Estimator [16.698190973547362]
PSE-Net(英語版)は、効率的なチャネルプルーニングのための新しい並列サブネット推定器である。提案アルゴリズムは,スーパーネットトレーニングの効率化を実現する。本研究では,従来の進化探索の性能を高めるために,事前分散型サンプリングアルゴリズムを開発した。
論文参考訳（メタデータ） (2024-08-29T03:20:43Z)
Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文参考訳（メタデータ） (2022-10-31T09:46:26Z)
Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
論文参考訳（メタデータ） (2022-07-22T18:38:11Z)
Test-time Batch Normalization [61.292862024903584]
ディープニューラルネットワークは、トレーニングとテストの間のデータ分散シフトに悩まされることが多い。トレーニングプロセスにおけるバッチ正規化(BN)を再検討し、テスト時の最適化に有効な2つの重要な洞察を明らかにします。本稿では,エントロピー損失を最小限に抑えて,テスト中に最適化された新しいBN層設計GpreBNを提案する。
論文参考訳（メタデータ） (2022-05-20T14:33:39Z)
Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing [88.76112371510999]
フェデレーション学習は、ネットワークエッジにおける分散機械学習の第一候補である。既存のアルゴリズムは、性能の緩やかな収束や堅牢性の問題に直面している。そこで本稿では,損失低減に対する最適コンテキスト依存境界を実現するためのコンテキストアグリゲーション手法を提案する。
論文参考訳（メタデータ） (2022-03-23T21:42:31Z)
Boost Neural Networks by Checkpoints [9.411567653599358]
本稿では,ディープニューラルネットワーク(DNN)のチェックポイントをアンサンブルする新しい手法を提案する。同じトレーニング予算で,Cifar-100では4.16%,Tiny-ImageNetでは6.96%,ResNet-110アーキテクチャでは6.96%の誤差を達成した。
論文参考訳（メタデータ） (2021-10-03T09:14:15Z)
A Continuous Optimisation Benchmark Suite from Neural Network Regression [0.0]
ニューラルネットワークのトレーニングは、近年のディープラーニングの成功で注目を集めている最適化タスクである。勾配降下変種は、大規模機械学習タスクにおける信頼性の高いパフォーマンスにおいて、最も一般的な選択である。 CORNNは、ニューラルネットワークのトレーニング問題に対して、連続的なブラックボックスアルゴリズムのパフォーマンスをベンチマークするスイートである。
論文参考訳（メタデータ） (2021-09-12T20:24:11Z)
MOPS-Net: A Matrix Optimization-driven Network forTask-Oriented 3D Point Cloud Downsampling [86.42733428762513]
MOPS-Netは行列最適化のための新しい解釈可能な深層学習手法である。我々はMOPS-Netが様々なタスクに対して最先端の深層学習手法に対して好適な性能が得られることを示す。
論文参考訳（メタデータ） (2020-05-01T14:01:53Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。