論文の概要: Generative Feature Training of Thin 2-Layer Networks

• arxiv url: http://arxiv.org/abs/2411.06848v1
• Date: Mon, 11 Nov 2024 10:32:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:05.851174
• Title: Generative Feature Training of Thin 2-Layer Networks
• Title（参考訳）: 薄型2層ネットワークの創発的特徴訓練
• Authors: Johannes Hertrich, Sebastian Neumayer,
• Abstract要約: 正方形損失と小さなデータセットに基づく隠れ重みの少ない2層ニューラルネットワークによる関数近似を考察する。 高度に隠蔽されたモデルとして、学習された分布提案からのサンプルを用いて隠れ重みを利用する。 潜時空間における勾配に基づく後処理により, 試料重量を改良する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We consider the approximation of functions by 2-layer neural networks with a small number of hidden weights based on the squared loss and small datasets. Due to the highly non-convex energy landscape, gradient-based training often suffers from local minima. As a remedy, we initialize the hidden weights with samples from a learned proposal distribution, which we parameterize as a deep generative model. To train this model, we exploit the fact that with fixed hidden weights, the optimal output weights solve a linear equation. After learning the generative model, we refine the sampled weights with a gradient-based post-processing in the latent space. Here, we also include a regularization scheme to counteract potential noise. Finally, we demonstrate the effectiveness of our approach by numerical examples.
• Abstract（参考訳）: 正方形損失と小さなデータセットに基づく隠れ重みの少ない2層ニューラルネットワークによる関数近似を考察する。 非常に非凸なエネルギー環境のため、勾配に基づくトレーニングはしばしば局所的なミニマに悩まされる。 そこで本研究では,学習された提案分布のサンプルを用いて隠れ重みを初期化し,深層生成モデルとしてパラメータ化する。 このモデルをトレーニングするために、固定された隠れ重みで最適出力重みが線形方程式を解くという事実を利用する。 生成モデルの学習後,潜時空間における勾配に基づく後処理により試料重量を改良する。 ここでは、潜在的なノイズに対処するための正規化スキームも含んでいる。 最後に,本手法の有効性を数値例で示す。

関連論文リスト

• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Bayes-optimal learning of an extensive-width neural network from quadratically many samples [28.315491743569897]
  本研究では,単一層ニューラルネットワークに対応する対象関数を学習する問題を考察する。 入力次元とネットワーク幅が比例的に大きい限界を考える。
  論文  参考訳（メタデータ） (2024-08-07T12:41:56Z)
• Efficient Training with Denoised Neural Weights [65.14892033932895]
  この研究は、初期化のために神経重みを合成するウェイトジェネレータを構築するための新しい一歩を踏み出した。 本稿では,モデル重みの収集を容易にするために,GANを用いた画像間翻訳タスクを例に挙げる。 拡散モデルによって予測される重み付き画像翻訳モデルを初期化することにより、トレーニングは43.3秒しか必要としない。
  論文  参考訳（メタデータ） (2024-07-16T17:59:42Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Depth-2 Neural Networks Under a Data-Poisoning Attack [2.105564340986074]
  本研究では,浅層ニューラルネットワークをレグレッション・セットアップでトレーニングしながら,データ中毒攻撃に対する防御の可能性について検討する。 本研究では,深度2有限幅ニューラルネットワークのクラスに対して教師あり学習を行うことに焦点をあてる。
  論文  参考訳（メタデータ） (2020-05-04T17:56:15Z)
• DeepFit: 3D Surface Fitting via Neural Network Weighted Least Squares [43.24287146191367]
  本研究では,非構造型3次元点雲の表面フィッティング法を提案する。 DeepFitと呼ばれるこの方法は、ニューラルネットワークを組み込んで、重み付けされた最小二乗表面フィッティングのポイントワイド重みを学習する。
  論文  参考訳（メタデータ） (2020-03-23T09:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。