論文の概要: Constraint-Based Regularization of Neural Networks

• arxiv url: http://arxiv.org/abs/2006.10114v2
• Date: Sun, 20 Jun 2021 21:33:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 19:51:34.889286
• Title: Constraint-Based Regularization of Neural Networks
• Title（参考訳）: 制約に基づくニューラルネットワークの規則化
• Authors: Benedict Leimkuhler, Timoth\'ee Pouchon, Tiffany Vlaar and Amos Storkey
• Abstract要約: 本稿では,ニューラルネットワークの学習のためのグラデーション・ランゲヴィン・フレームワークに制約を効率的に組み込む手法を提案する。 適切に設計され、消滅/爆発する勾配問題を減らし、重みを制御し、ディープニューラルネットワークを安定化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method for efficiently incorporating constraints into a stochastic gradient Langevin framework for the training of deep neural networks. Constraints allow direct control of the parameter space of the model. Appropriately designed, they reduce the vanishing/exploding gradient problem, control weight magnitudes and stabilize deep neural networks and thus improve the robustness of training algorithms and the generalization capabilities of the trained neural network. We present examples of constrained training methods motivated by orthogonality preservation for weight matrices and explicit weight normalizations. We describe the methods in the overdamped formulation of Langevin dynamics and the underdamped form, in which momenta help to improve sampling efficiency. The methods are explored in test examples in image classification and natural language processing.
• Abstract（参考訳）: 本稿では,制約を確率勾配Langevinフレームワークに効率よく組み込んで深層ニューラルネットワークのトレーニングを行う手法を提案する。 制約はモデルのパラメータ空間を直接制御することを可能にする。 適切に設計され、消失/爆発勾配の問題、重みの大きさの制御、ディープニューラルネットワークの安定化を削減し、トレーニングアルゴリズムの堅牢性とトレーニングされたニューラルネットワークの一般化能力を向上させる。 重み行列の直交保存と明示的な重み正規化による制約付きトレーニング手法の例を示す。 本稿では,ランジュバン力学の過減衰定式化と過減衰形式において,momentaがサンプリング効率の向上に寄与する手法について述べる。 これらの手法は画像分類と自然言語処理の試験例で検討されている。

関連論文リスト

• Robust Training of Neural Networks at Arbitrary Precision and Sparsity [11.177990498697845]
  量子化とスパーシフィケーションに固有の不連続な操作は、バックプロパゲーションに障害をもたらす。 これは、超低精度とスパースレジームでディープニューラルネットワークをトレーニングする場合、特に困難である。 我々は、新しい、頑健で普遍的な解、すなわちデノージングアフィン変換を提案する。
  論文  参考訳（メタデータ） (2024-09-14T00:57:32Z)
• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
  我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。 制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。 私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
  論文  参考訳（メタデータ） (2023-06-15T08:33:52Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Langevin algorithms for Markovian Neural Networks and Deep Stochastic control [0.0]
  勾配Descent Langevin Dynamics (SGLD)アルゴリズムは、ニューラルネットワークが非常に深い場合において、ニューラルネットワークのトレーニングを改善することが知られている。 本稿では,Langevinアルゴリズムがヘッジや資源管理といった様々な制御問題のトレーニングを改善し,勾配降下法を選択できることを数値的に示す。
  論文  参考訳（メタデータ） (2022-12-22T20:00:11Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Better Training using Weight-Constrained Stochastic Dynamics [0.0]
  我々は、トレーニングを通してディープニューラルネットワークのパラメータ空間を制御するために制約を用いる。 カスタマイズされた適切な設計の制約を使用することで、消滅/展開の問題を減らすことができる。 グラデーションランゲヴィンフレームワークに制約を効率的に組み込むための一般的なアプローチを提供する。
  論文  参考訳（メタデータ） (2021-06-20T14:41:06Z)
• Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
  本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。 アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
  論文  参考訳（メタデータ） (2020-08-25T15:48:15Z)
• Volumization as a Natural Generalization of Weight Decay [25.076488081589403]
  物理に触発されて、ニューラルネットワークの重みパラメータの物理体積を定義する。 本稿では,この手法がニューラルネットワークの正則化に有効な方法であることを示す。
  論文  参考訳（メタデータ） (2020-03-25T07:13:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。