Fugu-MT 論文翻訳(概要): Safe Crossover of Neural Networks Through Neuron Alignment

論文の概要: Safe Crossover of Neural Networks Through Neuron Alignment

arxiv url: http://arxiv.org/abs/2003.10306v3
Date: Mon, 4 May 2020 07:58:22 GMT
ステータス: 処理完了
システム内更新日: 2022-12-20 23:33:57.122295
Title: Safe Crossover of Neural Networks Through Neuron Alignment
Title（参考訳）: ニューロンアライメントによるニューラルネットワークの安全クロスオーバー
Authors: Thomas Uriot and Dario Izzo
Abstract要約: 本稿では,2段階の安全なクロスオーバー演算子を提案する。まず、親のニューロンは相関関係の計算によって機能的に整列し、その後にのみ親が組換えられる。本研究では,親から子への情報を効果的に伝達し,ナイーブ・クロスオーバー時に著しく改善することを示す。
参考スコア（独自算出の注目度）: 10.191757341020216
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: One of the main and largely unexplored challenges in evolving the weights of neural networks using genetic algorithms is to find a sensible crossover operation between parent networks. Indeed, naive crossover leads to functionally damaged offspring that do not retain information from the parents. This is because neural networks are invariant to permutations of neurons, giving rise to multiple ways of representing the same solution. This is often referred to as the competing conventions problem. In this paper, we propose a two-step safe crossover(SC) operator. First, the neurons of the parents are functionally aligned by computing how well they correlate, and only then are the parents recombined. We compare two ways of measuring relationships between neurons: Pairwise Correlation (PwC) and Canonical Correlation Analysis (CCA). We test our safe crossover operators (SC-PwC and SC-CCA) on MNIST and CIFAR-10 by performing arithmetic crossover on the weights of feed-forward neural network pairs. We show that it effectively transmits information from parents to offspring and significantly improves upon naive crossover. Our method is computationally fast,can serve as a way to explore the fitness landscape more efficiently and makes safe crossover a potentially promising operator in future neuroevolution research and applications.
Abstract（参考訳）: 遺伝的アルゴリズムを用いたニューラルネットワークの重み付けを進化させる主な、ほとんど未解決の課題の1つは、親ネットワーク間の合理的なクロスオーバー操作を見つけることである。実際、ナイーブなクロスオーバーは、親からの情報を保持しない機能的に障害のある子孫に繋がる。これは、ニューラルネットワークがニューロンの置換に不変であり、同じ解を表す複数の方法をもたらすためである。これはしばしば競合する条約問題と呼ばれる。本稿では,二段階セーフクロスオーバー(sc)演算子を提案する。まず、親のニューロンは、親の相関度を計算して機能的に整列し、その後に親が再結合する。ニューロン間の関係をPairwise correlation (PwC) とCanonical correlation Analysis (CCA) の2つの方法で比較した。我々は,MNIST と CIFAR-10 上の安全なクロスオーバー演算子 (SC-PwC と SC-CCA) をテストする。また,親から子への情報を効果的に伝達し,ナイーブなクロスオーバーにより著しく改善することを示す。提案手法は計算速度が速く, 運動環境をより効率的に探索する手段となり, 今後の神経進化研究や応用において, 安全なクロスオーバーを潜在的に有望なオペレーターにすることができる。

関連論文リスト

Neural Lineage [56.34149480207817]
本稿では,親子間の系統関係の発見を目的としたニューラルライン検出という新しいタスクを提案する。実用上,ニューラルネットワーク表現類似度指標に微調整プロセスの近似を組み込んだ学習自由アプローチを導入する。精度を追求するために,エンコーダと変圧器検出器からなる学習系系統検出装置を導入する。
論文参考訳（メタデータ） (2024-06-17T01:11:53Z)
Deep Neural Crossover [1.9950682531209156]
我々は、Deep Neural Crossover'(DNC)と呼ばれる、遺伝的アルゴリズム(GA)における新しいマルチペアクロスオーバー演算子を提案する。親遺伝子をランダムに選別する従来のGAクロスオーバー演算子とは異なり、DNCは深層強化学習(DRL)とエンコーダ・デコーダアーキテクチャ(encoder-decoder architecture)の能力を利用して遺伝子を選択する。 DNCはドメイン非依存であり、他の問題領域にも容易に適用できる。
論文参考訳（メタデータ） (2024-03-17T09:50:20Z)
Forward Direct Feedback Alignment for Online Gradient Estimates of Spiking Neural Networks [0.0]
スパイクニューラルネットワークは、ニューロモルフィックハードウェアプラットフォーム上で効率的にエネルギーをシミュレートすることができる。本研究では,新しいニューロモルフィックアルゴリズムであるtextitSpiking Forward Direct Feedback Alignment (SFDFA) を提案する。
論文参考訳（メタデータ） (2024-02-06T09:07:12Z)
Modularity based linkage model for neuroevolution [4.9444321684311925]
ニューラルネットワーク間の交差は、接続重み間の強い機能的依存のために破壊的であると考えられている。機能的依存型コミュニティを維持するために,重みレベルでモジュール性に基づくリンクモデルを提案する。我々のアルゴリズムは、より良い、より機能的に依存したリンクを見つけ、より良いクロスオーバーとより良いパフォーマンスをもたらす。
論文参考訳（メタデータ） (2023-06-02T01:32:49Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文参考訳（メタデータ） (2023-02-27T18:52:38Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
Learning Interpretable Models for Coupled Networks Under Domain Constraints [8.308385006727702]
脳ネットワークの構造的エッジと機能的エッジの相互作用に着目して,結合ネットワークの概念を検討する。相互作用を推定しながらノイズ項にハードネットワークの制約を課す新しい定式化を提案する。ヒトコネクトームプロジェクトから得られたマルチシェル拡散およびタスク誘発fMRIデータセットの手法を検証する。
論文参考訳（メタデータ） (2021-04-19T06:23:31Z)
And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文参考訳（メタデータ） (2021-02-15T08:19:05Z)
Training spiking neural networks using reinforcement learning [0.0]
本稿では,スパイクニューラルネットワークのトレーニングを容易にするために,生物学的に有望なバックプロパゲーション代替法を提案する。本研究では,空間的・時間的信用割当問題の解決における強化学習規則の適用可能性を検討することに注力する。我々は、グリッドワールド、カートポール、マウンテンカーといった従来のRLドメインに適用することで、2つのアプローチを比較し、対比する。
論文参考訳（メタデータ） (2020-05-12T17:40:36Z)
SkipGNN: Predicting Molecular Interactions with Skip-Graph Networks [70.64925872964416]
分子間相互作用の予測のためのグラフニューラルネットワークSkipGNNを提案する。 SkipGNNは直接相互作用からの情報だけでなく、二階相互作用からも情報を収集することで分子間相互作用を予測する。また,SkipGNNは,既存の手法を最大28.8%上回り,優れた,堅牢な性能を実現していることを示す。
論文参考訳（メタデータ） (2020-04-30T16:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。