論文の概要: One-class systems seamlessly fit in the forward-forward algorithm

• arxiv url: http://arxiv.org/abs/2306.15188v1
• Date: Tue, 27 Jun 2023 04:14:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 14:49:25.360478
• Title: One-class systems seamlessly fit in the forward-forward algorithm
• Title（参考訳）: 前方アルゴリズムにシームレスに適合する一級システム
• Authors: Michael Hopwood
• Abstract要約: 推論中に重みを更新し,各レイヤのパラメータを個別に更新することで,ニューラルネットワークをトレーニングする新しい手法を提案する。 これにより、トレーニング中のメモリ要件が即座に削減され、シームレスなオンライントレーニングなど、多くのメリットがもたらされる可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The forward-forward algorithm presents a new method of training neural networks by updating weights during an inference, performing parameter updates for each layer individually. This immediately reduces memory requirements during training and may lead to many more benefits, like seamless online training. This method relies on a loss ("goodness") function that can be evaluated on the activations of each layer, of which can have a varied parameter size, depending on the hyperparamaterization of the network. In the seminal paper, a goodness function was proposed to fill this need; however, if placed in a one-class problem context, one need not pioneer a new loss because these functions can innately handle dynamic network sizes. In this paper, we investigate the performance of deep one-class objective functions when trained in a forward-forward fashion. The code is available at \url{https://github.com/MichaelHopwood/ForwardForwardOneclass}.
• Abstract（参考訳）: フォワードフォワードアルゴリズムは、推論中に重みを更新し、各層を個別にパラメータ更新することにより、ニューラルネットワークをトレーニングする新しい方法を示す。 これにより、トレーニング中のメモリ要件が即座に減少し、シームレスなオンライントレーニングなど、多くのメリットが生まれる可能性がある。 この方法は、ネットワークのハイパーパラメタ化によって異なるパラメータサイズを持つ各レイヤのアクティベーションで評価できるロス(良さ)関数に依存する。 本論文では、このニーズを満たすために良さ関数が提案されているが、一級問題文脈に置かれる場合、これらの関数が自然に動的ネットワークサイズを処理できるため、新しい損失を先駆する必要はない。 本稿では,前向きに学習した深層一級目的関数の性能について検討する。 コードは \url{https://github.com/michaelhopwood/forwardforwardoneclass} で入手できる。

関連論文リスト

• InRank: Incremental Low-Rank Learning [85.6380047359139]
  勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。 既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。 InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
  論文  参考訳（メタデータ） (2023-06-20T03:03:04Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep Neural Network, a Survey [69.3939291118954]
  最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。 モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。 この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
  論文  参考訳（メタデータ） (2022-05-17T05:37:08Z)
• Training Neural Networks with Fixed Sparse Masks [19.58969772430058]
  最近の研究では、トレーニング中にモデルのパラメータの小さなサブセットだけを更新できることが示されている。 モデルのパラメータに固定されたスパースマスクを誘導し、サブセットを選択して複数のイテレーションで更新できることが示される。
  論文  参考訳（メタデータ） (2021-11-18T18:06:01Z)
• Using UNet and PSPNet to explore the reusability principle of CNN parameters [5.623232537411766]
  深層畳み込みニューラルネットワークの各層におけるパラメータの再利用性を実験的に定量化する。 平均値と分散の実行は、BN層におけるWeightやBiasよりも重要な役割を担います。 畳み込みレイヤのバイアスはセンシティブではなく、直接再利用することができる。
  論文  参考訳（メタデータ） (2020-08-08T01:51:08Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)
• Cooperative Initialization based Deep Neural Network Training [35.14235994478142]
  本手法では,ネットワークのトレーニング中に,全ての重みパラメータの更新に複数のアクティベーション関数を用いる。 提案手法は,様々なベースラインに優れ,同時に分類や検出など,さまざまなタスクに対して優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-01-05T14:08:46Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。