論文の概要: Spline parameterization of neural network controls for deep learning

• arxiv url: http://arxiv.org/abs/2103.00301v1
• Date: Sat, 27 Feb 2021 19:35:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 16:20:57.998813
• Title: Spline parameterization of neural network controls for deep learning
• Title（参考訳）: 深層学習のためのニューラルネットワーク制御のスプラインパラメータ化
• Authors: Stefanie G\"unther, Will Pazner, Dongping Qi
• Abstract要約: 我々は、ニューラルネットワークの訓練可能なパラメータである係数の固定数のBスプライン基底関数を選択する。 スプラインベースのニューラルネットワークがハイパーパラメータに対する学習問題の堅牢性を高めることを数値的に示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Based on the continuous interpretation of deep learning cast as an optimal control problem, this paper investigates the benefits of employing B-spline basis functions to parameterize neural network controls across the layers. Rather than equipping each layer of a discretized ODE-network with a set of trainable weights, we choose a fixed number of B-spline basis functions whose coefficients are the trainable parameters of the neural network. Decoupling the trainable parameters from the layers of the neural network enables us to investigate and adapt the accuracy of the network propagation separated from the optimization learning problem. We numerically show that the spline-based neural network increases robustness of the learning problem towards hyperparameters due to increased stability and accuracy of the network propagation. Further, training on B-spline coefficients rather than layer weights directly enables a reduction in the number of trainable parameters.
• Abstract（参考訳）: 本論文では,深層学習キャストを最適制御問題として連続的に解釈することにより,Bスプライン基底関数を用いたニューラルネットワーク制御のパラメータ化のメリットを検討する。 離散化ODE-ネットワークの各層にトレーニング可能な重みをセットする代わりに、ニューラルネットワークのトレーニング可能なパラメータである係数が一定数のB-スプライン基底関数を選択する。 ニューラルネットワークの層からトレーニング可能なパラメータを分離することで、最適化学習問題から分離したネットワーク伝搬の精度を調査し、適応することができる。 スプラインベースのニューラルネットワークは、ネットワークの伝搬の安定性と精度の向上により、ハイパーパラメータに対する学習問題の堅牢性を高めることを数値的に示す。 さらに、層重みよりもB-スプライン係数のトレーニングにより、トレーニング可能なパラメータの数を直接削減することができる。

関連論文リスト

• Using Cooperative Game Theory to Prune Neural Networks [7.3959659158152355]
  本稿では,協調ゲーム理論の解の概念を用いて,ニューラルネットワークの刈り取り問題に対処する方法について述べる。 本稿では,GTAP(Game Theory Assisted Pruning)と呼ばれる,予測精度を維持しつつ,ニューラルネットワークのサイズを小さくする手法を提案する。
  論文  参考訳（メタデータ） (2023-11-17T11:48:10Z)
• Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
  スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。 構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。 本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-17T17:14:18Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions [4.932130498861987]
  我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。 適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
  論文  参考訳（メタデータ） (2021-05-20T04:54:57Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Continual Learning with Extended Kronecker-factored Approximate Curvature [33.44290346786496]
  本稿では,バッチ正規化層を含むニューラルネットワークの連続学習のための2次ペナルティ手法を提案する。 K-FAC(Kronecker-factored approximate curvature)はニューラルネットワークのヘシアンを実際に計算するために広く用いられている。 我々は、K-FAC法を拡張し、サンプル間関係を考慮し、ディープニューラルネットワークのヘシアンを適切に近似することができる。
  論文  参考訳（メタデータ） (2020-04-16T07:58:47Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。