論文の概要: Low Rank Factorizations are Indirect Encodings for Deep Neuroevolution

• arxiv url: http://arxiv.org/abs/2504.03037v1
• Date: Thu, 03 Apr 2025 21:31:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:49:16.471901
• Title: Low Rank Factorizations are Indirect Encodings for Deep Neuroevolution
• Title（参考訳）: 低ランク因子化は深部神経進化の間接的エンコードである
• Authors: Jack Garbus, Jordan Pollack,
• Abstract要約: 低ランク化ニューロエボリューション(低ランク化ニューロエボリューション:低ランク化ニューロエボリューション:低ランク化ニューロエボリューション:低ランク化ニューロエボリューション:低ランク化ニューロエボリューション)を導入する。 本稿では,トランスフォーマを用いた言語モデリングタスクと,連続的かつ離散的な視覚に基づく強化学習タスクについて評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Deep neuroevolution is a highly scalable alternative to reinforcement learning due to its unique ability to encode network updates in a small number of bytes. Recent insights from traditional deep learning indicate high-dimensional models possess intrinsic, low-rank structure. In this work, we introduce low-rank, factorized neuroevolution: an indirect encoding through which we can search a small space of low-rank factors that enforce underlying structure across a network's weights. We compare our approach with non-factorized networks of similar and smaller size to understand how much performance can be attributed to the smaller search space. We evaluate our method on a language modeling task using transformers, as well as continuous and discrete vision-based reinforcement learning tasks. Our study shows that low-rank, factorized neuroevolution outperforms or is competitive with non-factorized neuroevolution, performing notably well on language modeling. Our results also suggest deleterious factorized mutations have a stronger negative impact on performance than deleterious non-factorized mutations, which significantly reduces the runtime on environments with early termination for bad performers. More broadly, these results show how we can use insights from backpropgation-based methods to enhance neuroevolution
• Abstract（参考訳）: ディープ・ニューロ進化(Deep Neuroevolution)は、少数のバイトでネットワーク更新をエンコードするユニークな能力のため、強化学習に代わる非常にスケーラブルな代替手段である。 最近のディープラーニングからの洞察は、高次元モデルは本質的で低ランクな構造を持っていることを示している。 本研究では、ネットワークの重みを越えて基盤構造を強制する低ランク要因の小さな空間を探索できる、間接的エンコーディングである低ランク分解神経進化を導入する。 提案手法は, より小さい検索空間にどの程度の性能があるかを理解するために, 類似および小型の非分解ネットワークと比較する。 本稿では,トランスフォーマを用いた言語モデリングタスクと,連続的かつ離散的な視覚に基づく強化学習タスクについて評価する。 本研究は,低ランク,分解型神経進化は,非分解型神経進化と競合し,言語モデルで顕著に機能することを示した。 また, 劣化因子変異は, 劣化因子変異よりも性能に悪影響を及ぼすことが示唆され, 悪役が早期に終了する環境において, 実行環境を著しく低下させることが示唆された。 より広範に、これらの結果は、バックプロパゲーションに基づく方法からの洞察を用いて、神経進化を促進する方法を示している。

関連論文リスト

• NeuroPrune: A Neuro-inspired Topological Sparse Training Algorithm for Large Language Models [35.10729451729596]
  自然言語処理(NLP)におけるトランスフォーマーベース言語モデルの普及 しかし、高価なトレーニングや推論は、その適用性に重大な障害となる。 脳神経ネットワークにインスパイアされた我々は、ネットワークトポロジーのレンズを通してスパーシティアプローチを探索する。
  論文  参考訳（メタデータ） (2024-02-28T22:21:47Z)
• Neural Loss Function Evolution for Large-Scale Image Classifier Convolutional Neural Networks [0.0]
  分類では、ニューラルネットワークはクロスエントロピーを最小化して学習するが、精度を用いて評価され、比較される。 この格差は、ニューラルネットワークのクロスエントロピーのドロップイン置換損失関数探索であるニューラルロス関数探索(NLFS)を示唆している。 より多様な損失関数を探索するNLFSの新しい探索空間を提案する。
  論文  参考訳（メタデータ） (2024-01-30T17:21:28Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Sparse Mutation Decompositions: Fine Tuning Deep Neural Networks with Subspace Evolution [0.0]
  進化戦略と呼ばれる、神経進化的手法の一般的なサブクラスは、ネットワークを変異させるために高密度ノイズ摂動に依存している。 低次元部分空間に高密度な突然変異を分解することでこの問題を緩和するアプローチを導入する。 我々は、非常に難しいImageNetデータセット上で、神経進化的微調整とアンサンブルを初めて大規模に探索する。
  論文  参考訳（メタデータ） (2023-02-12T01:27:26Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Training Deep Spiking Auto-encoders without Bursting or Dying Neurons through Regularization [9.34612743192798]
  スパイクニューラルネットワークは、計算神経科学における次世代の脳モデルに対する有望なアプローチである。 膜電位に基づくバックプロパゲーションを用いたエンドツーエンド学習を、スパイクする畳み込みオートエンコーダに適用する。 膜電位とスパイク出力に正規化を適用することで、死と破裂の両方のニューロンをうまく回避できることを示す。
  論文  参考訳（メタデータ） (2021-09-22T21:27:40Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。