論文の概要: Evolving Neural Networks with Optimal Balance between Information Flow and Connections Cost

• arxiv url: http://arxiv.org/abs/2202.06163v1
• Date: Sat, 12 Feb 2022 23:10:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 18:22:30.594153
• Title: Evolving Neural Networks with Optimal Balance between Information Flow and Connections Cost
• Title（参考訳）: 情報フローと接続コストの最適なバランスを持つニューラルネットワークの進化
• Authors: Abdullah Khalili, Abdelhamid Bouchachia
• Abstract要約: Evolving Neural Networks (NN)は、最近、もっと成功するかもしれない代替パスとして関心が高まっている。 NNのアーキテクチャを学ぶなど、他のアプローチと比べて多くの利点がある。 非常に大きな探索空間と多くの複雑な相互作用部分の存在は、依然として大きな障害である。
• 参考スコア（独自算出の注目度）: 6.066320781596792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evolving Neural Networks (NNs) has recently seen an increasing interest as an alternative path that might be more successful. It has many advantages compared to other approaches, such as learning the architecture of the NNs. However, the extremely large search space and the existence of many complex interacting parts still represent a major obstacle. Many criteria were recently investigated to help guide the algorithm and to cut down the large search space. Recently there has been growing research bringing insights from network science to improve the design of NNs. In this paper, we investigate evolving NNs architectures that have one of the most fundamental characteristics of real-world networks, namely the optimal balance between connections cost and information flow. The performance of different metrics that represent this balance is evaluated and the improvement in the accuracy of putting more selection pressure toward this balance is demonstrated on three datasets.
• Abstract（参考訳）: Evolving Neural Networks (NN)は、最近、もっと成功するかもしれない代替パスとして関心が高まっている。 NNのアーキテクチャを学ぶなど、他のアプローチと比べて多くの利点がある。 しかし、非常に大きな探索空間と多くの複雑な相互作用部分の存在は依然として大きな障害である。 近年,アルゴリズムのガイドと大規模検索空間の削減のために,多くの基準が検討されている。 近年,NNの設計を改善するためにネットワーク科学から洞察を得る研究が増えている。 本稿では,実世界のネットワークにおいて最も基本的な特性を持つnnsアーキテクチャ,すなわち接続コストと情報フローの最適バランスについて検討する。 このバランスを表わすさまざまな指標の性能を評価し,このバランスにより多くの選択圧力をかける精度の向上を3つのデータセットで示す。

関連論文リスト

• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Rethinking Residual Connection in Training Large-Scale Spiking Neural Networks [10.286425749417216]
  スパイキングニューラルネットワーク(SNN)は、最も有名な脳にインスパイアされたモデルとして知られている。 非微分可能なスパイク機構により、大規模SNNの訓練が困難になる。
  論文  参考訳（メタデータ） (2023-11-09T06:48:29Z)
• Interpretable Neural Networks with Random Constructive Algorithm [3.1200894334384954]
  本稿では,無作為重み付きニューラルネットワークの不透明なパラメータ化プロセスに取り組むために,空間情報を組み込んだ解釈型ニューラルネットワーク(INN)を提案する。 ネットワーク収束に寄与するノードパラメータを選択するために、候補ノードのプールと関係を確立することで、幾何学的関係戦略を考案する。
  論文  参考訳（メタデータ） (2023-07-01T01:07:20Z)
• Multiobjective Evolutionary Pruning of Deep Neural Networks with Transfer Learning for improving their Performance and Robustness [15.29595828816055]
  本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。 我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。 実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
  論文  参考訳（メタデータ） (2023-02-20T19:33:38Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Characterizing Learning Dynamics of Deep Neural Networks via Complex Networks [1.0869257688521987]
  複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。 ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。 本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
  論文  参考訳（メタデータ） (2021-10-06T10:03:32Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。