論文の概要: Searching Search Spaces: Meta-evolving a Geometric Encoding for Neural Networks

• arxiv url: http://arxiv.org/abs/2403.14019v1
• Date: Wed, 20 Mar 2024 22:40:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 17:49:40.573033
• Title: Searching Search Spaces: Meta-evolving a Geometric Encoding for Neural Networks
• Title（参考訳）: 検索空間: ニューラルネットワークのための幾何学的エンコーディングのメタ進化
• Authors: Tarek Kunze, Paul Templier, Dennis G Wilson,
• Abstract要約: 学習機能を持つ遺伝子は、直接符号化と手作り距離の両方に優れることを示す。 符号化がニューラルネットワークの特性に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In evolutionary policy search, neural networks are usually represented using a direct mapping: each gene encodes one network weight. Indirect encoding methods, where each gene can encode for multiple weights, shorten the genome to reduce the dimensions of the search space and better exploit permutations and symmetries. The Geometric Encoding for Neural network Evolution (GENE) introduced an indirect encoding where the weight of a connection is computed as the (pseudo-)distance between the two linked neurons, leading to a genome size growing linearly with the number of genes instead of quadratically in direct encoding. However GENE still relies on hand-crafted distance functions with no prior optimization. Here we show that better performing distance functions can be found for GENE using Cartesian Genetic Programming (CGP) in a meta-evolution approach, hence optimizing the encoding to create a search space that is easier to exploit. We show that GENE with a learned function can outperform both direct encoding and the hand-crafted distances, generalizing on unseen problems, and we study how the encoding impacts neural network properties.
• Abstract（参考訳）: 進化的ポリシー探索では、ニューラルネットワークは通常、直接マッピングを使用して表現される:各遺伝子は1つのネットワーク重みをコードする。 間接符号化法では、各遺伝子が複数の重みをエンコードし、ゲノムを短くして検索空間の次元を減らし、置換や対称性をうまく活用することができる。 Geometric Encoding for Neural Network Evolution (GENE)は、接続の重みを2つの連結ニューロン間の(擬似)距離として計算する間接エンコーディングを導入し、直接エンコーディングでは2次ではなく2次的な遺伝子数と線形に増加するゲノムサイズを導いた。 しかし、GENEは手作り距離関数に依存しており、事前の最適化はない。 ここでは、メタ進化的手法により、Cartesian Genetic Programming (CGP) を用いた GENE において、より優れた距離関数が見つかることを示し、これにより、符号化を最適化し、利用し易い検索空間を作成する。 学習機能を持つ遺伝子は、直接符号化と手作り距離の両方を上回り、目に見えない問題を一般化し、そのエンコーディングがニューラルネットワーク特性に与える影響について検討する。

関連論文リスト

• Evolving Efficient Genetic Encoding for Deep Spiking Neural Networks [10.368223587448382]
  Spiking Neural Networks(SNN)は、ANN(Artificial Networks)に代わる低エネルギーの代替手段を提供する 既存のSNNモデルは、多くの時間ステップとネットワーク深さとスケールのために、依然として高い計算コストに直面している。 大規模深部SNNを低コストで制御するために動的に進化する効率的な遺伝的エンコーディング戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-11T08:40:52Z)
• Scalable Graph Compressed Convolutions [68.85227170390864]
  ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。 グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
  論文  参考訳（メタデータ） (2024-07-26T03:14:13Z)
• Recurrent Distance Filtering for Graph Representation Learning [34.761926988427284]
  反復的なワンホップメッセージパッシングに基づくグラフニューラルネットワークは、遠方のノードからの情報を効果的に活用するのに苦労していることが示されている。 これらの課題を解決するための新しいアーキテクチャを提案する。 我々のモデルは、ターゲットへの最短距離で他のノードを集約し、線形RNNを用いてホップ表現のシーケンスを符号化する。
  論文  参考訳（メタデータ） (2023-12-03T23:36:16Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Simple Genetic Operators are Universal Approximators of Probability Distributions (and other Advantages of Expressive Encodings) [27.185579156106694]
  本稿では進化的アルゴリズムの本質的なパワーを特徴付ける。 これは、表現的エンコーディングが進化の完全なパワーを理解し、実現するための鍵であることを示している。
  論文  参考訳（メタデータ） (2022-02-19T20:54:37Z)
• COIN++: Data Agnostic Neural Compression [55.27113889737545]
  COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。 様々なデータモダリティを圧縮することで,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-01-30T20:12:04Z)
• Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
  Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。 トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
  論文  参考訳（メタデータ） (2021-05-12T09:30:26Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Evolutionary NAS with Gene Expression Programming of Cellular Encoding [0.0]
  線形固定長文字列の染色体に局所グラフ変換を埋め込んだ新しい生成符号化方式を提案する。 実験では、CNNアーキテクチャの性能を向上させるアーキテクチャを発見する上で、SLGEの有効性を示す。
  論文  参考訳（メタデータ） (2020-05-27T01:19:32Z)
• GeneCAI: Genetic Evolution for Acquiring Compact AI [36.04715576228068]
  ディープニューラルネットワーク(DNN)は、より高い推論精度を達成するために、より複雑なアーキテクチャへと進化している。 モデル圧縮技術は、リソース制限されたモバイルデバイスにそのような計算集約的なアーキテクチャを効率的に展開するために利用することができる。 本稿では,階層ごとの圧縮ハイパーパラメータのチューニング方法を自動的に学習する新しい最適化手法であるGeneCAIを紹介する。
  論文  参考訳（メタデータ） (2020-04-08T20:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。