論文の概要: Surrogate-Assisted Evolution for Efficient Multi-branch Connection Design in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2506.20469v1
• Date: Wed, 25 Jun 2025 14:18:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.774798
• Title: Surrogate-Assisted Evolution for Efficient Multi-branch Connection Design in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおける効率的なマルチブランチ接続設計のためのサロゲート支援進化
• Authors: Fergal Stapleton, Daniel García Núñez, Yanan Sun, Edgar Galván,
• Abstract要約: 最先端のディープニューラルネットワーク(DNN)には、しばしばマルチブランチ接続が組み込まれている。 DNN内のマルチブランチ(MB)接続を符号化するために,線形遺伝的プログラミング(LGP)に基づく新しい手法を提案する。 数十から数百のサンプルポイントから数千に拡張し、複雑なDNNの要求に合わせています。
• 参考スコア（独自算出の注目度）: 3.113634696452565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art Deep Neural Networks (DNNs) often incorporate multi-branch connections, enabling multi-scale feature extraction and enhancing the capture of diverse features. This design improves network capacity and generalisation to unseen data. However, training such DNNs can be computationally expensive. The challenge is further exacerbated by the complexity of identifying optimal network architectures. To address this, we leverage Evolutionary Algorithms (EAs) to automatically discover high-performing architectures, a process commonly known as neuroevolution. We introduce a novel approach based on Linear Genetic Programming (LGP) to encode multi-branch (MB) connections within DNNs, referred to as NeuroLGP-MB. To efficiently design the DNNs, we use surrogate-assisted EAs. While their application in simple artificial neural networks has been influential, we scale their use from dozens or hundreds of sample points to thousands, aligning with the demands of complex DNNs by incorporating a semantic-based approach in our surrogate-assisted EA. Furthermore, we introduce a more advanced surrogate model that outperforms baseline, computationally expensive, and simpler surrogate models.
• Abstract（参考訳）: 最先端のDeep Neural Networks(DNN)は、しばしばマルチブランチ接続を組み込んで、マルチスケールな特徴抽出を可能にし、多様な特徴のキャプチャを向上する。 この設計により、ネットワーク容量と一般化が改善され、見当たらないデータとなる。 しかし、そのようなDNNの訓練には計算コストがかかる。 この課題は、最適なネットワークアーキテクチャを特定する複雑さによってさらに悪化している。 これを解決するために、進化的アルゴリズム(EA)を活用して、神経進化(Neuroevolution)として知られるプロセスである、ハイパフォーマンスなアーキテクチャを自動的に発見する。 我々は,NuroLGP-MBと呼ばれるDNN内のマルチブランチ(MB)接続を符号化するための,線形遺伝的プログラミング(LGP)に基づく新しい手法を提案する。 DNNを効率的に設計するために、サロゲート支援EAを用いる。 単純な人工ニューラルネットワークへの応用は影響を受けていますが、それらの使用を数十から数百のサンプルポイントから数千に拡大し、サロゲート支援EAにセマンティックベースのアプローチを導入することで、複雑なDNNの要求に合わせています。 さらに,より先進的なサロゲートモデルを導入し,ベースライン,計算コスト,より単純なサロゲートモデルより優れたサロゲートモデルを提案する。

関連論文リスト

• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport [32.39176908225668]
  本稿では,DNNの非線形性シグネチャの概念を紹介する。これはディープニューラルネットワークの非線形性を測定するための,理論上初めての音響解である。 提案した非線形署名の実用性を明らかにするための実験結果について述べる。
  論文  参考訳（メタデータ） (2023-10-17T17:50:22Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• A Self-adaptive Neuroevolution Approach to Constructing Deep Neural Network Architectures Across Different Types [5.429458930060452]
  本稿では,様々なタスクに対して,様々な軽量なDeep Neural Network(DNN)アーキテクチャを自動構築する,自己適応型神経進化(SANE)アプローチを提案する。 SANEの重要な設定の1つは、異なるDNNタイプに適応した細胞と臓器によって定義された検索空間である。 SANEは、進化探索とエクスプロイトを自己適応的に調整し、探索効率を向上させることができる。
  論文  参考訳（メタデータ） (2022-11-27T07:40:25Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Evolving Deep Neural Networks for Collaborative Filtering [3.302151868255641]
  コラボレーティブ・フィルタリング(CF)は、ユーザとイテムの相互作用をモデル化するためのレコメンデータシステムで広く使われている。 ディープニューラルネットワーク(DNN)の設計プロセスにおける遺伝的アルゴリズムの導入
  論文  参考訳（メタデータ） (2021-11-15T13:57:31Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。