論文の概要: Guiding Evolutionary AutoEncoder Training with Activation-Based Pruning Operators

• arxiv url: http://arxiv.org/abs/2505.05138v1
• Date: Thu, 08 May 2025 11:21:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.857864
• Title: Guiding Evolutionary AutoEncoder Training with Activation-Based Pruning Operators
• Title（参考訳）: アクティベーションベースプルーニング演算子を用いた進化的オートエンコーダ訓練の指導
• Authors: Steven Jorgensen, Erik Hemberg, Jamal Toutouh, Una-May O'Reilly,
• Abstract要約: 重み付けを誘導するために層活性化を利用する2つの新しい突然変異演算子を導入する。 これらのアクティベーションインフォームド演算子の1つはランダムプルーニングよりも優れており、より効率的なオートエンコーダとなる。 進化的環境下では,ランダムプルーニングは誘導プルーニングよりも優れている。
• 参考スコア（独自算出の注目度）: 4.034672017339319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study explores a novel approach to neural network pruning using evolutionary computation, focusing on simultaneously pruning the encoder and decoder of an autoencoder. We introduce two new mutation operators that use layer activations to guide weight pruning. Our findings reveal that one of these activation-informed operators outperforms random pruning, resulting in more efficient autoencoders with comparable performance to canonically trained models. Prior work has established that autoencoder training is effective and scalable with a spatial coevolutionary algorithm that cooperatively coevolves a population of encoders with a population of decoders, rather than one autoencoder. We evaluate how the same activity-guided mutation operators transfer to this context. We find that random pruning is better than guided pruning, in the coevolutionary setting. This suggests activation-based guidance proves more effective in low-dimensional pruning environments, where constrained sample spaces can lead to deviations from true uniformity in randomization. Conversely, population-driven strategies enhance robustness by expanding the total pruning dimensionality, achieving statistically uniform randomness that better preserves system dynamics. We experiment with pruning according to different schedules and present best combinations of operator and schedule for the canonical and coevolving populations cases.
• Abstract（参考訳）: 本研究では、進化的計算を用いてニューラルネットワークのプルーニングを行う新しい手法について検討し、オートエンコーダのエンコーダとデコーダを同時にプルーニングすることに焦点を当てた。 重み付けを誘導するために層活性化を利用する2つの新しい突然変異演算子を導入する。 以上の結果から,これらのアクティベーションインフォームド演算子のうちの1つがランダムプルーニングより優れており,より効率の良いオートエンコーダが正準訓練モデルに匹敵する性能を示した。 以前の研究で、オートエンコーダのトレーニングは、1つのオートエンコーダではなく1つのデコーダの集団と協調的に共進化する空間的共進化アルゴリズムによって効果的でスケーラブルであることが証明された。 我々は、同じ活性誘導突然変異作用素がこの文脈にどのように移行するかを評価する。 進化的環境下では,ランダムプルーニングは誘導プルーニングよりも優れている。 このことは、アクティベーションに基づくガイダンスは、制約されたサンプル空間がランダム化における真の均一性から逸脱することにつながる低次元プルーニング環境においてより効果的であることを示している。 逆に、人口主導型戦略は、全体プルーニング次元を拡大することで堅牢性を高め、システムの力学をよりよく保存する統計的に均一なランダム性を達成する。 我々は、異なるスケジュールに従ってプルーニングを行い、正規および共進化する個体群に対する演算子とスケジュールの最適な組み合わせを提示する。

関連論文リスト

• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• Forward Operator Estimation in Generative Models with Kernel Transfer Operators [37.999297683250575]
  本定式化により,高効率な分布近似とサンプリングが可能となり,驚くほど優れた実験性能が得られることを示す。 また、このアルゴリズムは小さなサンプルサイズ設定(脳画像)でも良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-12-01T06:54:31Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• A New Modal Autoencoder for Functionally Independent Feature Extraction [6.690183908967779]
  新しいモーダルオートエンコーダ (MAE) は、読み出し重み行列の列をオトゴゴナライズすることによって提案される。 結果は、MNIST変異とUSPS分類ベンチマークスイートで検証された。 新しいMAEは、オートエンコーダのための非常にシンプルなトレーニング原則を導入し、ディープニューラルネットワークの事前トレーニングを約束できる。
  論文  参考訳（メタデータ） (2020-06-25T13:25:10Z)
• OpEvo: An Evolutionary Method for Tensor Operator Optimization [6.273446055072434]
  テンソル作用素の探索空間を効率的に探索する新しい進化的手法OpEvoを提案する。 総合的な実験結果から,OpEvoは最も分散度が低く,試行回数や壁面時間も最小限に設定できることがわかった。
  論文  参考訳（メタデータ） (2020-06-10T05:33:33Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。