論文の概要: Constraint-Based Regularization of Neural Networks
- arxiv url: http://arxiv.org/abs/2006.10114v2
- Date: Sun, 20 Jun 2021 21:33:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 19:51:34.889286
- Title: Constraint-Based Regularization of Neural Networks
- Title(参考訳): 制約に基づくニューラルネットワークの規則化
- Authors: Benedict Leimkuhler, Timoth\'ee Pouchon, Tiffany Vlaar and Amos
Storkey
- Abstract要約: 本稿では,ニューラルネットワークの学習のためのグラデーション・ランゲヴィン・フレームワークに制約を効率的に組み込む手法を提案する。
適切に設計され、消滅/爆発する勾配問題を減らし、重みを制御し、ディープニューラルネットワークを安定化する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a method for efficiently incorporating constraints into a
stochastic gradient Langevin framework for the training of deep neural
networks. Constraints allow direct control of the parameter space of the model.
Appropriately designed, they reduce the vanishing/exploding gradient problem,
control weight magnitudes and stabilize deep neural networks and thus improve
the robustness of training algorithms and the generalization capabilities of
the trained neural network. We present examples of constrained training methods
motivated by orthogonality preservation for weight matrices and explicit weight
normalizations. We describe the methods in the overdamped formulation of
Langevin dynamics and the underdamped form, in which momenta help to improve
sampling efficiency. The methods are explored in test examples in image
classification and natural language processing.
- Abstract(参考訳): 本稿では,制約を確率勾配Langevinフレームワークに効率よく組み込んで深層ニューラルネットワークのトレーニングを行う手法を提案する。
制約はモデルのパラメータ空間を直接制御することを可能にする。
適切に設計され、消失/爆発勾配の問題、重みの大きさの制御、ディープニューラルネットワークの安定化を削減し、トレーニングアルゴリズムの堅牢性とトレーニングされたニューラルネットワークの一般化能力を向上させる。
重み行列の直交保存と明示的な重み正規化による制約付きトレーニング手法の例を示す。
本稿では,ランジュバン力学の過減衰定式化と過減衰形式において,momentaがサンプリング効率の向上に寄与する手法について述べる。
これらの手法は画像分類と自然言語処理の試験例で検討されている。
関連論文リスト
- Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳(メタデータ) (2023-12-25T18:51:23Z) - A minimax optimal control approach for robust neural ODEs [49.1574468325115]
我々は、頑健な制御の観点から、ニューラルなODEの敵対的訓練に対処する。
我々はポントリャーギンの最大原理の形で一階最適条件を導出する。
論文 参考訳(メタデータ) (2023-10-26T17:07:43Z) - Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。
制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。
私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
論文 参考訳(メタデータ) (2023-06-15T08:33:52Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Langevin algorithms for Markovian Neural Networks and Deep Stochastic
control [0.0]
勾配Descent Langevin Dynamics (SGLD)アルゴリズムは、ニューラルネットワークが非常に深い場合において、ニューラルネットワークのトレーニングを改善することが知られている。
本稿では,Langevinアルゴリズムがヘッジや資源管理といった様々な制御問題のトレーニングを改善し,勾配降下法を選択できることを数値的に示す。
論文 参考訳(メタデータ) (2022-12-22T20:00:11Z) - Imbedding Deep Neural Networks [0.0]
ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。
本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
論文 参考訳(メタデータ) (2022-01-31T22:00:41Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Training multi-objective/multi-task collocation physics-informed neural
network with student/teachers transfer learnings [0.0]
本稿では,事前学習ステップとネット間知識伝達アルゴリズムを用いたPINNトレーニングフレームワークを提案する。
多目的最適化アルゴリズムは、競合する制約のある物理的インフォームドニューラルネットワークの性能を向上させることができる。
論文 参考訳(メタデータ) (2021-07-24T00:43:17Z) - Better Training using Weight-Constrained Stochastic Dynamics [0.0]
我々は、トレーニングを通してディープニューラルネットワークのパラメータ空間を制御するために制約を用いる。
カスタマイズされた適切な設計の制約を使用することで、消滅/展開の問題を減らすことができる。
グラデーションランゲヴィンフレームワークに制約を効率的に組み込むための一般的なアプローチを提供する。
論文 参考訳(メタデータ) (2021-06-20T14:41:06Z) - Volumization as a Natural Generalization of Weight Decay [25.076488081589403]
物理に触発されて、ニューラルネットワークの重みパラメータの物理体積を定義する。
本稿では,この手法がニューラルネットワークの正則化に有効な方法であることを示す。
論文 参考訳(メタデータ) (2020-03-25T07:13:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。