論文の概要: Hybrid Self-Attention NEAT: A novel evolutionary approach to improve the NEAT algorithm

• arxiv url: http://arxiv.org/abs/2112.03670v1
• Date: Tue, 7 Dec 2021 13:04:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 19:48:51.122058
• Title: Hybrid Self-Attention NEAT: A novel evolutionary approach to improve the NEAT algorithm
• Title（参考訳）: Hybrid Self-Attention NEAT: NEATアルゴリズムの改良のための新しい進化的アプローチ
• Authors: Saman Khamesian, Hamed Malek
• Abstract要約: 本稿では,高次元入力における元のNeuroEvolution of Augmenting Topologies (NEAT)アルゴリズムを改善するために,Hybrid Self-Attention NEAT法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This article presents a "Hybrid Self-Attention NEAT" method to improve the original NeuroEvolution of Augmenting Topologies (NEAT) algorithm in high-dimensional inputs. Although the NEAT algorithm has shown a significant result in different challenging tasks, as input representations are high dimensional, it cannot create a well-tuned network. Our study addresses this limitation by using self-attention as an indirect encoding method to select the most important parts of the input. In addition, we improve its overall performance with the help of a hybrid method to evolve the final network weights. The main conclusion is that Hybrid Self- Attention NEAT can eliminate the restriction of the original NEAT. The results indicate that in comparison with evolutionary algorithms, our model can get comparable scores in Atari games with raw pixels input with a much lower number of parameters.
• Abstract（参考訳）: 本稿では,高次元入力における元のNeuroEvolution of Augmenting Topologies (NEAT)アルゴリズムを改善するために,Hybrid Self-Attention NEAT法を提案する。 NEATアルゴリズムは、入力表現が高次元であるため、様々な課題において有意な結果を示したが、十分に調整されたネットワークを作ることはできない。 本研究は,入力の最も重要な部分を選択するための間接符号化手法として自己認識を用いることにより,この制限に対処する。 さらに,最終的なネットワーク重みを進化させるハイブリッド手法の助けを借りて,全体的な性能を向上させる。 主な結論は、ハイブリッド自己注意NEATは元のNEATの制限を取り除くことができるということである。 その結果, 進化的アルゴリズムと比較して, パラメータの少ない原画素入力でAtariゲームと同等のスコアが得られることがわかった。

関連論文リスト

• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
  Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。 本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Tensorized NeuroEvolution of Augmenting Topologies for GPU Acceleration [6.784939343811732]
  神経進化(NeuroEvolution of Augmenting Topologies、NEAT)アルゴリズムは、神経進化の分野でかなりの認知を得ている。 本稿では、NEATアルゴリズムのテンソル化手法を導入し、その多様なネットワークトポロジの変換を可能にする。 NEATライブラリは、Gym, Brax, gymnaxなど、さまざまなベンチマーク環境をサポートしている。
  論文  参考訳（メタデータ） (2024-04-02T10:20:12Z)
• Selective Task offloading for Maximum Inference Accuracy and Energy efficient Real-Time IoT Sensing Systems [3.0748861313823]
  多次元クナップサック問題の解法として,軽量ハイブリッド遺伝的アルゴリズム(LGSTO)を提案する。 実験の結果,LGSTOは最高速のスキームよりも3倍高速であった。
  論文  参考訳（メタデータ） (2024-02-24T18:46:06Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• A new Sparse Auto-encoder based Framework using Grey Wolf Optimizer for Data Classification Problem [0.0]
  列車のスパースオートエンコーダにグレーオオカミ最適化(GWO)を適用する。 モデルは、いくつかの人気のあるGene式データベースを使用することで検証される。 その結果、GWOを用いた学習モデルの性能は、一般的なメタヒューリスティックアルゴリズムで訓練された従来のモデルとモデルの両方で優れていた。
  論文  参考訳（メタデータ） (2022-01-29T04:28:30Z)
• Deep Variational Autoencoder with Shallow Parallel Path for Top-N Recommendation (VASP) [0.0]
  本稿では,このアルゴリズムの性能向上のためにNeural EASEを提案する。 我々は、Neural EASEと並行してAEを学習する方法を示し、MovieLens 20Mデータセット上で、アートパフォーマンスの状態を達成している。
  論文  参考訳（メタデータ） (2021-02-10T23:27:07Z)
• A Neural Network Approach for Online Nonlinear Neyman-Pearson Classification [3.6144103736375857]
  論文の中では,オンラインと非線形の両方で初となる新しいNeyman-Pearson(NP)分類器を提案する。 提案する分類器は、オンライン方式でバイナリラベル付きデータストリーム上で動作し、ユーザが指定し、制御可能な偽陽性率の検出能力を最大化する。 提案アルゴリズムは大規模データアプリケーションに適しており,実時間処理による偽陽性率制御性を実現している。
  論文  参考訳（メタデータ） (2020-06-14T20:00:25Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。