論文の概要: Constructing Organism Networks from Collaborative Self-Replicators

• arxiv url: http://arxiv.org/abs/2212.10078v1
• Date: Tue, 20 Dec 2022 08:33:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 13:42:23.101058
• Title: Constructing Organism Networks from Collaborative Self-Replicators
• Title（参考訳）: 協調型自己複製装置による組織ネットワークの構築
• Authors: Steffen Illium, Maximilian Zorn, Cristian Lenta, Michael K\"olle, Claudia Linnhoff-Popien, Thomas Gabor
• Abstract要約: 一つの神経ネットワークのように機能するが、複数の神経粒子ネットワークから構成される生物ネットワークを紹介する。 各粒子ネットワークは、生物ネットワーク内の単一重み付けの役割を果たす一方で、自身の重みを自己複製するようにも訓練されている。
• 参考スコア（独自算出の注目度）: 9.41153391721276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce organism networks, which function like a single neural network but are composed of several neural particle networks; while each particle network fulfils the role of a single weight application within the organism network, it is also trained to self-replicate its own weights. As organism networks feature vastly more parameters than simpler architectures, we perform our initial experiments on an arithmetic task as well as on simplified MNIST-dataset classification as a collective. We observe that individual particle networks tend to specialise in either of the tasks and that the ones fully specialised in the secondary task may be dropped from the network without hindering the computational accuracy of the primary task. This leads to the discovery of a novel pruning-strategy for sparse neural networks
• Abstract（参考訳）: 我々は、単一ニューラルネットワークのように機能するが、複数の神経粒子ネットワークから構成される有機ネットワークを紹介し、各粒子ネットワークは、有機ネットワーク内での単一重み適用の役割を果たす一方で、自身の重みを自己複製する訓練も行っている。 生物ネットワークは、単純なアーキテクチャよりもはるかに多くのパラメータを特徴付けるため、算術的なタスクや単純化されたMNISTデータセット分類を集合として行う。 我々は,個々の粒子ネットワークがいずれかのタスクを専門とする傾向にあり,二次タスクに完全に特化されたタスクは,プライマリタスクの計算精度を損なうことなくネットワークから落としてもよいことを観察する。 これはスパースニューラルネットワークのための新しいプルーニング戦略の発見につながる

関連論文リスト

• Image segmentation with traveling waves in an exactly solvable recurrent neural network [71.74150501418039]
  繰り返しニューラルネットワークは、シーンの構造特性に応じて、画像をグループに効果的に分割できることを示す。 本稿では,このネットワークにおけるオブジェクトセグメンテーションのメカニズムを正確に記述する。 次に、グレースケール画像中の単純な幾何学的対象から自然画像まで、入力をまたいで一般化するオブジェクトセグメンテーションの簡単なアルゴリズムを実証する。
  論文  参考訳（メタデータ） (2023-11-28T16:46:44Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Fundamental limits of overparametrized shallow neural networks for supervised learning [11.136777922498355]
  本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。 この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
  論文  参考訳（メタデータ） (2023-07-11T08:30:50Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Quantitative Effectiveness Assessment and Role Categorization of Individual Units in Convolutional Neural Networks [23.965084518584298]
  画像分類タスクにおけるcnnの単一単位の現状と有用性を定量的に解明する手法を提案する。 本手法の技術的根拠は, 特定のエントロピーの計算に基づく分類における各クラスにおける単位の重要性をランク付けすることである。 すべてのネットワークユニットは、トレーニングとテストデータのパフォーマンスに応じて4つのカテゴリに分類される。
  論文  参考訳（メタデータ） (2021-03-17T15:18:18Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Finding trainable sparse networks through Neural Tangent Transfer [16.092248433189816]
  深層学習において、特定のタスクでうまく機能する訓練可能なスパースネットワークは通常、ラベル依存プルーニング基準を用いて構築される。 本稿では,学習可能なスパースネットワークをラベルフリーで検出する手法であるNeural Tangent Transferを紹介する。
  論文  参考訳（メタデータ） (2020-06-15T08:58:01Z)
• Identifying Critical Neurons in ANN Architectures using Mixed Integer Programming [11.712073757744452]
  深層ニューラルネットワークアーキテクチャにおいて,各ニューロンに重要なスコアを割り当てるための混合整数プログラム(MIP)を導入する。 我々は、トレーニングされたニューラルネットワークの全体的な精度を維持するために必要な臨界ニューロンの数(すなわち、高いスコアを持つ)を最小限に抑えるために、ソルバを駆動する。
  論文  参考訳（メタデータ） (2020-02-17T21:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。