論文の概要: Better Training using Weight-Constrained Stochastic Dynamics
- arxiv url: http://arxiv.org/abs/2106.10704v1
- Date: Sun, 20 Jun 2021 14:41:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-22 15:52:41.262175
- Title: Better Training using Weight-Constrained Stochastic Dynamics
- Title(参考訳): 重み制約付き確率力学を用いたより良いトレーニング
- Authors: Benedict Leimkuhler, Tiffany Vlaar, Timoth\'ee Pouchon and Amos
Storkey
- Abstract要約: 我々は、トレーニングを通してディープニューラルネットワークのパラメータ空間を制御するために制約を用いる。
カスタマイズされた適切な設計の制約を使用することで、消滅/展開の問題を減らすことができる。
グラデーションランゲヴィンフレームワークに制約を効率的に組み込むための一般的なアプローチを提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We employ constraints to control the parameter space of deep neural networks
throughout training. The use of customized, appropriately designed constraints
can reduce the vanishing/exploding gradients problem, improve smoothness of
classification boundaries, control weight magnitudes and stabilize deep neural
networks, and thus enhance the robustness of training algorithms and the
generalization capabilities of neural networks. We provide a general approach
to efficiently incorporate constraints into a stochastic gradient Langevin
framework, allowing enhanced exploration of the loss landscape. We also present
specific examples of constrained training methods motivated by orthogonality
preservation for weight matrices and explicit weight normalizations.
Discretization schemes are provided both for the overdamped formulation of
Langevin dynamics and the underdamped form, in which momenta further improve
sampling efficiency. These optimization schemes can be used directly, without
needing to adapt neural network architecture design choices or to modify the
objective with regularization terms, and see performance improvements in
classification tasks.
- Abstract(参考訳): 我々は、トレーニングを通してディープニューラルネットワークのパラメータ空間を制御するために制約を用いる。
カスタマイズされた適切な設計の制約を使用することで、グラデーションの消滅/拡大問題を低減し、分類境界の滑らかさを改善し、重み付けを制御し、ディープニューラルネットワークを安定化し、トレーニングアルゴリズムの堅牢性とニューラルネットワークの一般化能力を高めることができる。
我々は,確率勾配ランジュバンフレームワークに制約を効率的に組み込むための一般的なアプローチを提案する。
また、重み行列の直交保存と明示的な重み正規化による制約付きトレーニング手法の具体例を示す。
離散化スキームはランゲヴィン力学の過度な定式化とアンダーダム形式の両方に提供され、モータはサンプリング効率をさらに向上する。
これらの最適化スキームは、ニューラルネットワークアーキテクチャ設計の選択に適応したり、正規化の用語で目標を変更したり、分類タスクのパフォーマンス向上を見る必要なしに、直接使用できる。
関連論文リスト
- Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。
本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
論文 参考訳(メタデータ) (2024-05-23T02:31:55Z) - Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳(メタデータ) (2023-12-25T18:51:23Z) - Achieving Constraints in Neural Networks: A Stochastic Augmented
Lagrangian Approach [49.1574468325115]
DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。
制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。
我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
論文 参考訳(メタデータ) (2023-10-25T13:55:35Z) - Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。
制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。
私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
論文 参考訳(メタデータ) (2023-06-15T08:33:52Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Training multi-objective/multi-task collocation physics-informed neural
network with student/teachers transfer learnings [0.0]
本稿では,事前学習ステップとネット間知識伝達アルゴリズムを用いたPINNトレーニングフレームワークを提案する。
多目的最適化アルゴリズムは、競合する制約のある物理的インフォームドニューラルネットワークの性能を向上させることができる。
論文 参考訳(メタデータ) (2021-07-24T00:43:17Z) - Self-Adaptive Physics-Informed Neural Networks using a Soft Attention Mechanism [1.6114012813668932]
非線形偏微分方程式(PDE)の数値解に対するディープニューラルネットワークの有望な応用として、物理情報ニューラルネットワーク(PINN)が登場した。
そこで本研究では,PINNを適応的にトレーニングする方法として,適応重みを完全にトレーニング可能とし,各トレーニングポイントに個別に適用する手法を提案する。
線形および非線形のベンチマーク問題による数値実験では、SA-PINNはL2エラーにおいて他の最先端のPINNアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2020-09-07T04:07:52Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳(メタデータ) (2020-08-07T02:55:28Z) - Constraint-Based Regularization of Neural Networks [0.0]
本稿では,ニューラルネットワークの学習のためのグラデーション・ランゲヴィン・フレームワークに制約を効率的に組み込む手法を提案する。
適切に設計され、消滅/爆発する勾配問題を減らし、重みを制御し、ディープニューラルネットワークを安定化する。
論文 参考訳(メタデータ) (2020-06-17T19:28:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。