論文の概要: Towards evolution of Deep Neural Networks through contrastive Self-Supervised learning

• arxiv url: http://arxiv.org/abs/2406.14525v1
• Date: Thu, 20 Jun 2024 17:38:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 12:33:17.507378
• Title: Towards evolution of Deep Neural Networks through contrastive Self-Supervised learning
• Title（参考訳）: 自己監督学習による深層ニューラルネットワークの進化に向けて
• Authors: Adriano Vinhas, João Correia, Penousal Machado,
• Abstract要約: 自己教師付き学習を用いて深層ニューラルネットワークを進化させるフレームワークを提案する。 その結果,ラベル付きデータへの依存を低減しつつ,適切なニューラルネットワークを進化させることが可能であることがわかった。
• 参考スコア（独自算出の注目度）: 0.49157446832511503
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep Neural Networks (DNNs) have been successfully applied to a wide range of problems. However, two main limitations are commonly pointed out. The first one is that they require long time to design. The other is that they heavily rely on labelled data, which can sometimes be costly and hard to obtain. In order to address the first problem, neuroevolution has been proved to be a plausible option to automate the design of DNNs. As for the second problem, self-supervised learning has been used to leverage unlabelled data to learn representations. Our goal is to study how neuroevolution can help self-supervised learning to bridge the gap to supervised learning in terms of performance. In this work, we propose a framework that is able to evolve deep neural networks using self-supervised learning. Our results on the CIFAR-10 dataset show that it is possible to evolve adequate neural networks while reducing the reliance on labelled data. Moreover, an analysis to the structure of the evolved networks suggests that the amount of labelled data fed to them has less effect on the structure of networks that learned via self-supervised learning, when compared to individuals that relied on supervised learning.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、幅広い問題にうまく適用されている。 しかし、主に2つの制限が指摘されている。 ひとつは、設計に長い時間がかかることです。 もうひとつは、ラベル付きデータに大きく依存していることです。 最初の問題に対処するために、神経進化はDNNの設計を自動化するための有効な選択肢であることが証明された。 2つ目の問題として、自己教師付き学習は、非ラベルデータを利用して表現を学習するために使われてきた。 我々のゴールは、自己教師型学習が、パフォーマンスの観点から教師型学習にギャップを埋めるのにどのように役立つかを研究することである。 本研究では,自己教師付き学習を用いて深層ニューラルネットワークを進化させるフレームワークを提案する。 CIFAR-10データセットで得られた結果は,ラベル付きデータへの依存を低減しつつ,適切なニューラルネットワークを進化させることが可能であることを示している。 さらに、進化したネットワークの構造を解析した結果、ラベル付きデータの量は、教師付き学習に依存する個人と比較して、自己教師付き学習によって学習したネットワークの構造に影響を及ぼさないことが示唆された。

関連論文リスト

• Breaching the Bottleneck: Evolutionary Transition from Reward-Driven Learning to Reward-Agnostic Domain-Adapted Learning in Neuromodulated Neural Nets [0.3428444467046466]
  AI学習アルゴリズムは、適切な振る舞いを取得するために、外部から用意された振る舞い品質の測定に頼っている。 これにより、多様な非逆刺激情報からの学習を妨げる情報のボトルネックが生じる。 まず、報奨信号から学習する能力を進化させ、非効率(ボトルネック化)だが広い適応性を提供することを提案する。
  論文  参考訳（メタデータ） (2024-04-19T05:14:47Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Curriculum Design Helps Spiking Neural Networks to Classify Time Series [16.402675046686834]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも時系列データをモデル化する可能性が大きい この研究において、脳にインスパイアされた科学によって啓蒙され、構造だけでなく学習過程も人間に似ていなければならないことが判明した。
  論文  参考訳（メタデータ） (2023-12-26T02:04:53Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Models Developed for Spiking Neural Networks [0.5801044612920815]
  スパイキングニューラルネットワーク(SNN)は長い間存在しており、脳のダイナミクスを理解するために研究されてきた。 本研究では,画像分類タスクにおけるSNNの構造と性能について検討した。 比較は、これらのネットワークがより複雑な問題に対して優れた能力を示すことを示している。
  論文  参考訳（メタデータ） (2022-12-08T16:18:53Z)
• Making a Spiking Net Work: Robust brain-like unsupervised machine learning [0.0]
  Spiking Neural Networks (SNN)は、Artificial Neural Networks (ANN)の代替品である SNNは動的安定性に悩まされており、ANNの精度と一致しない。 本稿では,SNNが文献で確認された多くの欠点を克服する方法について述べる。
  論文  参考訳（メタデータ） (2022-08-02T02:10:00Z)
• An Unsupervised STDP-based Spiking Neural Network Inspired By Biologically Plausible Learning Rules and Connections [10.188771327458651]
  スパイク刺激依存性可塑性(STDP)は脳の一般的な学習規則であるが、STDPだけで訓練されたスパイクニューラルネットワーク(SNN)は非効率であり、性能が良くない。 我々は適応的なシナプスフィルタを設計し、SNNの表現能力を高めるために適応的なスパイキングしきい値を導入する。 我々のモデルは、MNISTおよびFashionMNISTデータセットにおける教師なしSTDPベースのSNNの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-06T14:53:32Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。