論文の概要: On Training Derivative-Constrained Neural Networks

• arxiv url: http://arxiv.org/abs/2310.01649v2
• Date: Wed, 11 Oct 2023 21:57:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 14:43:02.971531
• Title: On Training Derivative-Constrained Neural Networks
• Title（参考訳）: 微分制約ニューラルネットワークの訓練について
• Authors: KaiChieh Lo, Daniel Huang
• Abstract要約: 直流NNのトレーニングを改善するための統合RELU(IRELU)アクティベーション機能を提案する。 また,DCトレーニングの安定化を支援するため,非正規化やラベル再スケーリングも検討した。 我々は、IReLUアクティベーションを持つ既存のアーキテクチャと非正規化とラベル再スケーリングが組み合わさって、微分制約によるトレーニング信号をよりうまく組み込むことを示した。
• 参考スコア（独自算出の注目度）: 0.951828574518325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We refer to the setting where the (partial) derivatives of a neural network's (NN's) predictions with respect to its inputs are used as additional training signal as a derivative-constrained (DC) NN. This situation is common in physics-informed settings in the natural sciences. We propose an integrated RELU (IReLU) activation function to improve training of DC NNs. We also investigate denormalization and label rescaling to help stabilize DC training. We evaluate our methods on physics-informed settings including quantum chemistry and Scientific Machine Learning (SciML) tasks. We demonstrate that existing architectures with IReLU activations combined with denormalization and label rescaling better incorporate training signal provided by derivative constraints.
• Abstract（参考訳）: 本稿では、ニューラルネットワーク(NN)の入力に対する予測の(部分的)微分が、微分制約(DC)NNとして追加の訓練信号として使用される設定について述べる。 この状況は自然科学の物理学的な設定でよく見られる。 直流NNのトレーニングを改善するための統合RELU(IRELU)アクティベーション機能を提案する。 また,DCトレーニングの安定化を支援するため,非正規化やラベル再スケーリングも検討した。 我々は,量子化学やSciML(SciML)タスクなど,物理インフォームドセッティングの手法を評価する。 ireluアクティベーションと非正規化とラベルリスケーリングを組み合わせた既存のアーキテクチャは、デリバティブ制約によって提供されるトレーニング信号をうまく組み込むことができる。

関連論文リスト

• Harnessing Orthogonality to Train Low-Rank Neural Networks [0.07538606213726905]
  本研究は,ニューラルネットワークの学習力学を,トレーニングを通じて重みの特異値分解(SVD)を分析することによって研究する。 本稿では,ニューラルネットワークの直交性を利用した新しいトレーニング手法であるOrthogonality-Informed Adaptive Low-Rank(OIALR)トレーニングを紹介する。
  論文  参考訳（メタデータ） (2024-01-16T17:07:22Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Consensus Function from an $L_p^q-$norm Regularization Term for its Use as Adaptive Activation Functions in Neural Networks [0.0]
  本稿では,学習過程においてその形状に適応する暗黙的,パラメトリックな非線形活性化関数の定義と利用を提案する。 この事実は、ネットワーク内で最適化するパラメータの空間を増大させるが、柔軟性を高め、ニューラルネットワークの概念を一般化する。 予備的な結果は、この種の適応的アクティベーション関数によるニューラルネットワークの使用は、回帰や分類の例における誤差を減少させることを示している。
  論文  参考訳（メタデータ） (2022-06-30T04:48:14Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。