論文の概要: Lifted Bregman Training of Neural Networks

• arxiv url: http://arxiv.org/abs/2208.08772v1
• Date: Thu, 18 Aug 2022 11:12:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-19 14:08:00.549876
• Title: Lifted Bregman Training of Neural Networks
• Title（参考訳）: ニューラルネットワークのリフトブレグマントレーニング
• Authors: Xiaoyu Wang, Martin Benning
• Abstract要約: 本稿では,(潜在的に非滑らかな)近位写像を活性化関数として,フィードフォワードニューラルネットワークのトレーニングのための新しい数学的定式化を導入する。 この定式化はBregmanに基づいており、ネットワークのパラメータに関する偏微分がネットワークのアクティベーション関数の微分の計算を必要としないという利点がある。 ニューラルネットワークに基づく分類器のトレーニングや、スパースコーディングによる(デノーミング)オートエンコーダのトレーニングには、これらのトレーニングアプローチが等しく適しているか、さらに適していることを示す数値的な結果がいくつか提示される。
• 参考スコア（独自算出の注目度）: 28.03724379169264
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce a novel mathematical formulation for the training of feed-forward neural networks with (potentially non-smooth) proximal maps as activation functions. This formulation is based on Bregman distances and a key advantage is that its partial derivatives with respect to the network's parameters do not require the computation of derivatives of the network's activation functions. Instead of estimating the parameters with a combination of first-order optimisation method and back-propagation (as is the state-of-the-art), we propose the use of non-smooth first-order optimisation methods that exploit the specific structure of the novel formulation. We present several numerical results that demonstrate that these training approaches can be equally well or even better suited for the training of neural network-based classifiers and (denoising) autoencoders with sparse coding compared to more conventional training frameworks.
• Abstract（参考訳）: 本稿では,(潜在的に非スムースな)近位写像を活性化関数とするフィードフォワードニューラルネットワークのトレーニングのための新しい数学的定式化を提案する。 この定式化はブレグマン距離に基づいており、ネットワークのパラメータに関する偏微分がネットワークのアクティベーション関数の微分の計算を必要としないという利点がある。 一階最適化法とバックプロパゲーション(最先端であるように)の組み合わせでパラメータを推定する代わりに、新しい定式化の特定の構造を利用する非スムース一階最適化法を提案する。 本稿では,これらの学習手法がニューラルネットワークに基づく分類器の訓練や,従来の学習フレームワークに比べてスパース符号化による自動エンコーダの訓練に等しく,あるいはさらに適していることを示す数値的結果を示す。

関連論文リスト

• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• AdaSTE: An Adaptive Straight-Through Estimator to Train Binary Neural Networks [34.263013539187355]
  重み付きディープニューラルネットワーク(DNN)を学習するための新しいアルゴリズムを提案する。 実験により,本アルゴリズムは既存手法と比較して良好な性能を示した。
  論文  参考訳（メタデータ） (2021-12-06T09:12:15Z)
• Tensor-based framework for training flexible neural networks [9.176056742068813]
  本稿では,制約付き行列-テンソル因数分解(CMTF)問題を解く学習アルゴリズムを提案する。 提案アルゴリズムは、異なる基底分解を処理できる。 この手法の目的は、テンソルワーク(例えば、元のネットワークの1層または複数の層)を新しいフレキシブル層に置き換えることで、大きな事前訓練されたNNモデルを圧縮することである。
  論文  参考訳（メタデータ） (2021-06-25T10:26:48Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)
• Hyperparameter Optimization in Binary Communication Networks for Neuromorphic Deployment [4.280642750854163]
  ニューロモルフィック展開のためのニューラルネットワークのトレーニングは簡単ではない。 本稿では,ニューロモルフィックハードウェアに展開可能なバイナリ通信ネットワークをトレーニングするためのアルゴリズムのハイパーパラメータを最適化するためのベイズ的手法を提案する。 このアルゴリズムでは,データセット毎のハイパーパラメータを最適化することにより,データセット毎の前の最先端よりも精度が向上できることが示されている。
  論文  参考訳（メタデータ） (2020-04-21T01:15:45Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。